基于机器学习的房价预测系统：从爬虫到Flask部署的完整毕业设计指南

毕业设计选题向来是个让人头大的事。既不能太简单显得没工作量，又不能太复杂搞得自己毕不了业。如果你正在找Python方向的题目，我强烈建议你看看“基于机器学习的房价预测系统”这个方向——它能串起爬虫、数据清洗、特征工程、scikit-learn建模、Flask Web开发、可视化展示一整条技术链路，工作量饱满，难度适中，答辩时也有丰富的技术点可以讲。这套项目我在带过的几届学生里反复验证过，从数据采集到模型上线，每一步都有现成套路可抄。这篇文章我就把完整的实现思路、核心代码逻辑、以及那些踩过的坑一次性说透，想拿去当毕业设计或者课程设计参考的直接收藏。

1. 项目选题与整体设计思路

1.1 为什么选房价预测这个题目

房价预测几乎是机器学习入门案例里的“Hello World”，但正因为常见，很多人觉得它没新意。实际从毕业设计角度来说，它的优势恰恰在于“框架成熟但延伸空间大”。

首先是数据可得性。房产平台上有大量真实房源数据，通过requests爬虫就能拿到面积、朝向、楼层、装修、单价、总价等字段，数据量轻松到几千甚至几万条。对比其他题目，比如股票预测、医疗诊断，数据要么需要特殊渠道，要么涉及隐私合规，房产数据公开且合法采集，适合学生在短期内完成。

其次是效果可视化。房价预测的结果天然适合用图表展示——散点图看面积与价格关系，柱状图对比不同区域均价，折线图看模型预测误差。这些可视化结果放在论文和答辩PPT里，比一堆公式要有说服力得多。

再者是技术栈覆盖面全。一个完整的房价预测系统，至少要包含“数据采集-数据清洗-特征工程-模型训练-模型评估-Web展示”六个环节。Python生态里每个环节都有成熟的库对应：requests、pandas、scikit-learn、Flask、ECharts。评委老师看到“你的项目覆盖了从爬虫到Web的完整流程”，工作量这块基本有数了。

1.2 技术选型背后的考量

这套系统的核心选型是：Python 3.8 + Flask 2.x + scikit-learn + requests + pandas + ECharts。

为什么用Flask而不是Django？毕业生很容易在这里纠结。我的建议很直接：Flask轻量，学习成本低，一个app.py就能写完所有后端逻辑，特别适合展示型项目。Django自带ORM、Admin后台、用户认证，功能全但太重，对毕业设计来说是杀鸡用牛刀。而且Flask的灵活性能让你自由控制每个路由返回的数据格式，配合前端图表库非常顺手。

机器学习框架选scikit-learn而非TensorFlow/PyTorch，原因更实际。房价预测本质是表格数据的回归问题，数据量通常在万级以下，深度学习在这里不仅难以发挥优势，还会带来训练时间、环境配置、过拟合等一系列麻烦。scikit-learn的LinearRegression、RandomForestRegressor、GradientBoostingRegressor等模型，调参简单、结果解释性强，答辩时能讲清楚每个参数的含义，这很重要。

另外需要强调的是，项目里要保留requests爬虫模块，而不是直接下载现成数据集。很多同学图省事用Kaggle的Boston房价数据集，但那个数据太老、字段太少，而且用过的人太多，答辩时老师一眼就能看出来。真实的爬虫采集数据虽然脏，但处理脏数据的过程恰恰是展示你工程能力的地方。

1.3 系统架构与数据流设计

整个系统的数据流可以拆成三条链路：

离线链路：爬虫从房产平台采集房源原始数据 → 存储为CSV文件 → pandas清洗和特征工程 → 生成训练集 → scikit-learn训练模型 → 保存模型文件（.pkl或.joblib）。

在线链路：用户在前端页面填写房屋特征 → 前端AJAX请求发送到Flask后端 → Flask加载模型文件并计算预测结果 → 返回JSON → 前端渲染结果。

展示链路：Flask后端从CSV读取统计数据 → 提供/statistics接口 → ECharts绘制区域均价、户型分布、价格区间直方图等图表。

我在指导设计时，会让每个同学先画出这张数据流程图再动手写代码。道理很简单：毕业设计最忌边写边想，流程不清晰会导致写着写着发现数据封装不对、接口对不上，最后疯狂返工。先把数据流定义清楚，每段代码的输入输出就明确了，后面写起来会顺手很多。

2. 数据采集与处理：从爬虫到干净数据集

2.1 requests爬虫采集房源数据的实用方法

很多新手写爬虫一上来就上Scrapy，其实没必要。Scrapy框架功能强大，但它的回调机制、Item Pipeline、中间件对初学者并不友好。用requests加BeautifulSoup或正则表达式，简单直接，也完全够用。

一个标准的采集流程是：构造请求头 → 发起GET请求 → 解析HTML → 提取字段 → 翻页循环 → 保存数据。具体到房源网站，关键点有三个。

第一是请求头必须模拟浏览器。不少网站会校验User-Agent，不设置的话直接返回403。我常用的请求头长这样：

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36', 'Accept': 'text/html,application/xhtml+xml', 'Referer': 'https://www.xxxxx.com/' }

第二是解析策略。优先用BeautifulSoup加CSS选择器，比正则表达式容错率高很多。比如提取房源标题和总价：

from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'html.parser') titles = soup.select('div.title a') prices = soup.select('span.total-price')

第三是反爬应对。别用暴力高并发，控制请求频率才是长久之计。我一般建议每次请求后time.sleep(1~2秒)，采集整个过程下来可能要一两小时，但对于毕业设计完全可接受。如果碰到验证码或者IP被封，优先考虑降低频率和更换User-Agent，不要尝试绕过验证码，那是另一个维度的内容了。

2.2 数据清洗与特征工程的几个关键坑

爬下来的数据十有八九是脏的。我见过学生采集的数据里同一套房源的面积写成“85.6平米”的字符串、单价和总价混在一个字段里、朝向和楼层缺失等情况。需要用pandas做一轮系统的清洗。

清洗的步骤建议固定为：去重 → 格式统一 → 缺失值处理 → 异常值处理。

去重要特别注意，同一个房源可能出现在搜索页和推荐位，简单drop_duplicates可能漏掉字段完全一致但顺序不同的记录，所以最好是根据房源ID或“小区名+面积+朝向”的组合字段去重。

格式统一是最费手的。数字字段要转成float，面积字段里的“平米”要replace掉，总价字段如果是“300万”需要去掉“万”再转数字。这里有个经验：不要试图在一个正则里解决所有格式问题，分批处理，每次处理一个字段，写清楚注释，后面回归起来会省很多时间。

缺失值处理需要策略。如果某个字段缺失比例超过30%，建议直接删掉该特征；缺失比例不高，可以用均值、中位数填充。面积、价格这类强相关字段缺失了不能乱填，更稳妥的做法是删除缺失样本。

异常值处理这块我上过当。第一次做房价清洗时没过滤掉“总价1元”的异常房源，导致模型训练时出现一个巨大的离群点，R²直接掉到0.2。后来加了条件过滤：总价在100万到5000万之间、面积在10到500平米之间。边界值不要拍脑袋，要结合你采集的城市和平台实际情况去定。

2.3 噪声数据的识别与处理

热搜词里出现“机器学习的噪声数据”，这一点恰恰是很多毕业设计评分高低的隐形分界线。噪声数据和异常值不完全是一个概念：异常值是明显的错误记录，噪声数据则是真实存在但会干扰模型的样本。比如同一小区里挂牌价明显高于周边20%的房源，它可能是业主心理预期过高，也可能是带了高价装修，这种数据不能简单删除，而是要分析它对模型的影响。

我常用的判断方法是画箱线图和残差图。箱线图能直观看到价格分布的离群点范围，残差图则用来观察模型预测值和真实值的偏差是否呈随机分布。如果某个样本的残差超过三倍标准差，我会单独标记出来，先看它的特征组合是否合理，再决定是否删除。

另一个处理技巧是分箱。把价格按区域和户型分组，在组内用四分位距（IQR）判断异常值，比全局阈值更合理。比如市中心一居室总价300万合理，郊区三居室总价300万也可能是合理的，如果全局一刀切就会误删。

提示：特征工程阶段最好把原始数据和清洗后的数据分开保存。我习惯建一个data目录，下分raw和processed两个子目录，每一步处理留一份副本。这个习惯在答辩时也能用——你可以直接给老师展示原始数据长什么样、处理后长什么样，过程性材料比结论更有说服力。

3. 机器学习建模：从线性回归到集成学习

3.1 特征选择与数据集划分

经过清洗后，典型的房价特征可以整理成这么几类：

• 数值型：面积、卧室数、客厅数、所在楼层、总层高、建成年份
• 类别型：朝向、装修情况、所在区域、户型结构
• 衍生特征：单价（总价/面积）、楼层率（所在楼层/总楼层）、房龄（当前年份-建成年份）

这里有一个很重要的经验：不要一次性把全部特征丢进模型。先计算相关性矩阵，把与总价相关性低于0.1的特征剔掉，再用递归特征消除（RFE）或者基于随机森林的特征重要性排序去筛选。比如“所在楼层”单看和总价关系不大，但“所在楼层/总楼层”这个比例特征反映了高区低区的差异，就可能和价格有更强的关联——这就是特征工程的乐趣所在。

数据集划分上，要用train_test_split且设置random_state固定随机种子。注意在划分之前要把特征和标签分开：

from sklearn.model_selection import train_test_split X = df[['area', 'bedroom', 'floor_ratio', 'age', 'price_per_sqm']] y = df['total_price'] X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 )

random_state固定为42，既是约定俗成，也是为了让每次运行的实验结果一致。Paper写“重复实验得到相同结果”时，这一行代码就是你的底气。

3.2 scikit-learn模型训练与调参实战

房价预测常用的模型就那么几个：线性回归、决策树、随机森林、梯度提升树（GBDT）、XGBoost。scikit-learn里可以直接用的有前四个，XGBoost需要额外安装，但效果往往最好。

我建议初学者不要一上来就调参，而是先用默认参数把线性和随机森林各跑一遍，比较结果，建立直觉。具体代码如下：

from sklearn.linear_model import LinearRegression from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_squared_error, r2_score models = { 'linear': LinearRegression(), 'rf': RandomForestRegressor(n_estimators=100, random_state=42) } for name, model in models.items(): model.fit(X_train, y_train) pred = model.predict(X_test) mse = mean_squared_error(y_test, pred) r2 = r2_score(y_test, pred) print(f'{name} -> R2={r2:.4f}, MSE={mse:.2f}')

你会发现线性回归如果R²上不了0.7，多半是特征和价格的关系不是线性的，或者有严重的多重共线性。这时候就该上随机森林或者梯度提升。随机森林对异常值更鲁棒，梯度提升拟合能力更强但更容易过拟合。

调参这块，我一般按这个优先级顺序来：n_estimators先固定在100到300之间，然后调max_depth和min_samples_split，再看max_features。使用GridSearchCV或RandomizedSearchCV能省很多事，但要注意交叉验证的折数不要太多，5折就够了，太多会很慢。

from sklearn.model_selection import RandomizedSearchCV from sklearn.ensemble import GradientBoostingRegressor param_dist = { 'n_estimators': [100, 200, 300], 'max_depth': [3, 5, 7], 'learning_rate': [0.05, 0.1, 0.2] } gbdt = GradientBoostingRegressor(random_state=42) search = RandomizedSearchCV(gbdt, param_dist, cv=5, n_iter=20, scoring='r2') search.fit(X_train, y_train) print(search.best_params_, search.best_score_)

这里想提醒一个大坑：网格搜索的n_iter别设太大。有同学上来就cv=10、n_iter=50，模型跑了半小时还没跑完，最后发现数据量只有几千条，纯属浪费时间。数据量在万级以下，交叉验证的代价完全可以接受，但调参范围也要合理。

3.3 模型评估指标怎么选

毕业设计的论文里，模型评估部分经常被一笔带过，这是很可惜的。评委老师最常问的就是“你这个模型效果到底怎么样，为什么用R²而不用准确率”。这个问题答得好，印象分会加不少。

回归问题的主要评估指标是R²、均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）。对不同量级的数据，要会选择。比如你的房价总价在几百万量级，MSE会大得吓人，但RMSE能还原到“万元”单位，更好解释。我习惯在报告里同时给出R²和RMSE，一个看拟合优度，一个看实际误差。

这里有个小经验：除以平均房价的百分比误差更有说服力。假设RMSE是35万，平均房价350万，那平均误差率就是10%，非技术背景的听众也能理解。答辩时讲“模型预测误差约为均价的一成”比“RMSE=350000”要好得多。

同时要关注测试集上的表现和训练集上的差距。如果训练集R²接近1但测试集只有0.6，铁定过拟合。这时候优先增加训练数据量、降低模型复杂度、增加正则化参数。

3.4 大模型时代的房价预测还需要传统机器学习吗

现在到处都在聊大模型，答辩时老师很可能问“你为什么不用深度学习和LLM”。这就涉及项目定位的问题了。

首先要明确一点：大模型擅长的是语义理解和生成，房价预测是结构化表格数据的回归任务，这种任务用传统的GBDT、随机森林往往是效果最好、成本最低的。大语言模型本身不具备数值预测的天然优势，如果拿ChatGPT去预测房价，它只能给出模糊的范围估计，没办法给你一个精确到万位的预测值。

其次，数据量级也不支持深度学习。深度学习要发挥优势，通常需要几万甚至上百万样本，而一个城市的爬虫数据撑死几千条到几万条，用深度神经网络很容易过拟合。

所以我的建议是：在论文里加一节“为什么选用传统机器学习而非深度学习方法”，从数据规模、任务类型、可解释性、部署成本四个维度展开。这既展示了你的思考深度，也提前挡掉了答辩时的经典拷问。同时可以在展望部分提一句“如果数据扩大到多个城市并引入更大规模文本数据，可以考虑使用Bert等模型进行价格语义分析”，既不说大话，又显得你关注前沿。

4. Flask框架搭建可视化系统

4.1 Flask应用结构与核心路由设计

Flask项目虽然可以只用一个app.py，但为了让结构清晰、方便扩展，我更推荐这样一个目录组织：

project/ ├── app.py ├── model/ │ └── house_price_model.pkl ├── data/ │ ├── raw/ │ └── processed/ ├── templates/ │ ├── index.html │ ├── predict.html │ └── statistics.html └── static/ ├── css/ ├── js/ └── echarts.min.js

核心路由一般有三个：首页即预测页面、运行预测接口、统计展示接口。预测接口的JSON通信是这个系统的关键，前端不刷新页面就能拿到预测结果，交互体验好很多。

from flask import Flask, render_template, request, jsonify import joblib app = Flask(__name__) model = joblib.load('model/house_price_model.pkl') @app.route('/') def index(): return render_template('index.html') @app.route('/predict', methods=['POST']) def predict(): data = request.get_json() features = [ float(data['area']), float(data['bedroom']), float(data['floor_ratio']) ] price = model.predict([features])[0] return jsonify({'predicted_price': round(price, 2)}) @app.route('/statistics') def statistics(): return render_template('statistics.html')

注意用joblib而不是pickle来保存模型，因为joblib对scikit-learn里包含数组数据的模型兼容性更好。保存模型时用一个固定版本，比如训练时用的scikit-learn版本和部署时一致，不然可能出现“模型文件加载后特征名字对不上”的问题。

4.2 可视化方案：图表库选择与前端集成

可视化方案上，我强烈推荐ECharts。它不需要构建前端工程，直接在HTML里引入一个JS文件就能用。对没系统学过前端的同学来说，这是性价比最高的方案。对比一下几个常见选择：

毕业设计不建议上Vue全家桶，这会严重分散你对机器学习核心内容的精力。老老实实用原生HTML加ECharts，调一个跟随鼠标提示、缩放等成熟图表配置就够了。

统计页面的实现思路是：后端写一个接口返回统计数据和图表的JSON，前端用fetch拉取后传入ECharts的init和setOption。比如区域均价柱状图，后端只需要返回区域名称列表和价格均值列表。

在这方面一个常见的坑是静态文件路径配置。用Flask默认静态目录时，模板里引用ECharts要用url_for('static', filename='js/echarts.min.js')，不能写绝对路径，否则部署到服务器时会404。

4.3 把模型封装成Web服务的完整步骤

很多人以为把模型文件加载进Flask就结束了，实际部署时还有很多细节。

首先要处理的是特征顺序。你在训练时X_train列的顺序是area、bedroom、floor_ratio，预测时传入的特征顺序也必须完全一致。否则模型输出结果就会错乱。所以大家看上面那个代码我是直接按固定顺序取出前端传入字段组成列表，而不是用dict传给模型。这点在答辩时被问到过很多次，因为有的同学前端页面字段顺序调整了一下，预测结果就变化了。

其次，要对用户输入做合法性和范围校验。前端会不会传负数、传字符串、传空值？后端不校验的话，轻则报错，重则模型直接崩溃。我一般会在predict路由里加上异常处理：

try: area = float(data['area']) bedroom = int(data['bedroom']) if area <= 0 or area > 500: return jsonify({'error': '面积字段不合法'}), 400 except (ValueError, KeyError): return jsonify({'error': '参数格式错误'}), 400

这样一来，前端即使有漏洞，后端也能兜底。别嫌这部分代码啰嗦，真正上生产环境的系统，这类防御性代码必不可少，毕业设计里有这一笔也是加分项。

另外要注意模型文件版本。如果你用不同环境训练了多个模型，推荐命名时加上训练时间，比如house_price_model_20250601.pkl。这样以后调整了特征重新训练，不会因为新旧文件混淆导致预测结果和你PPT上展示的不一致。

5. 毕业设计答辩与避坑经验

5.1 答辩时容易被问到的技术问题

答辩现场和写代码是两个世界。代码写完不一定能说清楚，所以我坚持让学生提前做一轮“模拟答辩”，把高频问题过一遍。这里整理一份针对本项目的问答清单：

问：你的数据是怎么来的？答：用Python的requests库发送HTTP请求，获取房源列表页面，再用BeautifulSoup解析HTML标签，提取房源字段。采集时控制了请求频率，模拟了浏览器请求头，采集完成后存储为CSV文件。

问：数据清洗你做了什么？答：做了四类工作：去重、格式统一、缺失值填充、异常值剔除。比如面积字段中的“平米”等中文字符要去掉，总价字段的“万”要转成数字。此外还通过箱线图识别了挂牌价明显异常的样本。

问：为什么选用随机森林/GBDT？答：因为房价预测是典型的非线性问题，线性回归在房价数据上存在欠拟合。随机森林能捕捉特征交互和非线性关系，而且对异常值比较鲁棒。通过交叉验证对比，随机森林的R²明显高于线性回归。

问：你系统的后端和前端怎么交互的？答：前端填写特征后，用AJAX发送POST请求到Flask的/predict接口，请求体是JSON格式。Flask解析JSON、调用模型预测、返回JSON响应，前端再通过JavaScript更新页面上的预测结果，整个过程页面不刷新。

问：模型能上线吗？答：这个项目展示了模型上线的完整路径，但在真实生产环境中还要考虑模型监控、定期重训练、并发处理等问题，这部分属于工程化的后续工作。

这些问题每个都要能说两三句，而且必须结合自己项目的实际情况来说。背模板是能把基本的答出来，但一旦老师追问“你的数据集有多少条”，背模板就露馅了。

5.2 源码部署与运行环境的坑

每年都有学生都到提交前两天才说“项目在我电脑上能跑，换台机器就崩”。大部分问题出在环境依赖上。

我的建议是使用虚拟环境，pipeout一个完整的requirements.txt：

flask==2.2.5 scikit-learn==1.2.2 pandas==1.5.3 requests==2.28.2 numpy==1.23.5 joblib==1.2.0

注意版本号一定要锁定，不能只写库名，否则换环境时pip install scikit-learn可能装上最新版，而最新版可能不再支持你用的某些API。特别是在Python 3.8环境下，装太新版本的pandas和scikit-learn会出现依赖冲突。

另一个坑是模型文件的相对路径和绝对路径。用PyCharm运行时，通过相对路径可以找到model/house_price_model.pkl；但如果在别的环境里直接用命令行运行，当前工作目录不一样，就可能报找不到文件。最简单的办法是在代码中根据__file__动态拼接绝对路径：

import os BASE_DIR = os.path.dirname(os.path.abspath(__file__)) MODEL_PATH = os.path.join(BASE_DIR, 'model', 'house_price_model.pkl')

这样无论从哪里启动Flask，都能找到模型文件。还有数据库相关问题，如果用了MySQL，要注意本地导出的SQL文件在别人机器上导入时，版本和编码可能不一致。所以能用CSV就用CSV，别给自己加戏。

5.3 让项目看起来更有“大数据”含量的技巧

毕业设计题目里带“大数据”三个字，其实不意味着你真要做Hadoop和Spark。关键是让数据规模和处理流程体现出量级感。

第一步是扩大数据采集范围。只采一个平台一页内容，数据只有几百条，确实单薄。我建议至少采5000条以上。可以按区域分页采集，比如北京、上海、广州各采两千条，形成跨城市数据集。还可以爬取小区的经纬度、周边学校、地铁站数量，这些衍生特征也会直接提升模型效果。

第二步是添加数据预处理流水线。把数据清洗、特征工程、建模封装成可重复执行的Pipeline，展示处理前后的对比统计，比如“原始数据有12000条，去重后剩10000条，异常值处理后剩9300条”。这些数字写进论文，远比一句“完成了数据清洗”更有说服力。

第三步是做特征重要性分析。用随机森林自带的feature_importances_属性输出每个特征对价格的影响权重，然后做成柱状图。这会让评委觉得你不只是调包，而是理解了特征与标签之间的关系。

第四步是展示多模型对比。除了线性回归和随机森林，可以再对比一下K近邻回归和支持向量机回归。用一张表格汇总各模型的R²和RMSE，最终选最优模型。这种“实验对比”的写法几乎等同于一个简化的真实数据科学项目，在本科毕业设计里足够亮眼了。

5.4 论文写作与项目展示的小建议

项目代码做得好，论文写不好同样会吃亏。这里强调三个点。

论文中的图表不要直接截图，要用Python可视化库或ECharts重新绘制，统一标注。例如用matplotlib绘制特征相关性热力图，用seaborn绘制价格分布直方图，这样论文更具工程感。

系统设计部分，不要只写功能模块图，要画一张数据流图，标注每个环节用到的工具和技术。答辩时指着数据流图流程讲，老师跟着你的思路走，基本不会被问懵。

代码仓库里，建议同时放一份“说明文档.md”，写清楚环境安装步骤、如何爬取数据、如何训练模型、如何启动Web系统。这份文档可以写到附录里，老师要复现项目时直接照着操作。虽然不一定会被看到，但准备了和没准备是两种态度。

我个人在实际操作中的体会是，毕业设计并非越难越好，而是越完整越好。房价预测系统最难的部分不是那几个机器学习公式，而是把数据、模型、Web串成一个整体并保证它能稳定运行。按照上面的路子走一遍，你会发现自己对Python生态、机器学习建模流程的理解都比只看书强得多。最后再分享一个小技巧：论文定稿前一定要把系统从头到尾跑一遍，同时录屏记录全流程——有这段视频在手，答辩演示时就算现场网络出问题、环境崩了，你也能用录像兜底。这个习惯帮我避免过不止一次尴尬，希望你也用得上。