Python数据分析实战：从爬虫到可视化的二手房市场研究

简介：本资源是一套完整的南京二手房数据分析实战项目，面向Python初学者、数据科学入门者及计算机专业本科毕业设计或期末大作业需求者，聚焦真实房产数据采集、清洗、可视化与聚类建模全流程。压缩包共157个文件（40.04MB），含18个核心Python爬虫与分析脚本（requests+bs4+matplotlib+pandas+k-means）、18个CSV数据文件（覆盖原始采集、编码转换、清洗后多版本）、65张可视化图表PNG、15个HTML地理热力图页面（集成高德地图JS API）、11个JS前端交互文件及1份完整答辩PPT，结构清晰、模块可独立运行。已有997人学习下载，提供从链家网页结构解析、反爬应对策略、缺失值与异常值清洗方法，到k-means聚类参数调优与结果解读的完整实现路径，所有代码均附详细注释，数据字段明确，可直接复现分析结论并支撑购房决策辅助分析。

1. 项目概述与核心价值

最近在整理过往的数据分析项目，翻到了几年前做的一个关于南京二手房市场的可视化分析案例。这个项目虽然不算复杂，但麻雀虽小五脏俱全，从数据爬取、清洗、分析到可视化呈现，完整地走了一遍数据分析的标准化流程。当时做这个项目的初衷很简单，就是想用Python这套技术栈，对一个具体的、生活化的场景（买房租房）进行一次实战演练，看看能从数据里挖出什么有意思的结论。项目包里包含了完整的Python源码、分析报告以及用于汇报的PPT文档，算是一个比较典型的“数据分析师作品集”项目。

这个项目能帮你解决什么问题呢？如果你是一个正在学习Python数据分析的入门者或进阶者，它提供了一个从零到一的完整参考案例，你可以看到每一个环节具体是怎么做的，代码怎么写，遇到问题如何解决。如果你对房地产市场，特别是南京的二手房市场感兴趣，它通过数据可视化的方式，直观地展示了价格分布、区域差异、户型偏好等关键信息，能给你提供一个基于数据的观察视角。整个项目的技术栈围绕Python展开，用到了像pandas、matplotlib、seaborn、requests、BeautifulSoup等数据分析与爬虫领域的核心库，这些都是数据科学领域的硬通货。

2. 项目整体设计与技术选型思路

2.1 核心目标与需求拆解

做任何数据分析项目，第一步永远是明确目标。这个项目的核心目标可以拆解为三个层次：

1. 数据获取层：如何稳定、高效地获取到南京二手房市场的原始数据？这涉及到目标网站的选择、反爬策略应对以及数据结构的解析。
2. 数据处理与分析层：获取到的原始数据通常是杂乱无章的，如何清洗、整理，并从中提取出有意义的特征和指标？例如，总价、单价、面积、户型、楼层、朝向、区域、建筑年代等。
3. 数据可视化与洞察层：如何将分析结果以直观、美观的图表形式呈现？如何通过图表发现规律、验证假设或讲述一个数据故事？

基于这三个层次，技术选型就变得清晰了。在Python生态中，每个层次都有成熟且优秀的工具链。

2.2 技术栈选型与理由

数据获取：Requests + BeautifulSoup / Scrapy对于二手房这种信息结构相对固定、但可能有一定反爬措施的网站，我选择了Requests库进行网页请求，配合BeautifulSoup进行HTML解析。这是一个轻量级且灵活的组合。为什么不直接用Scrapy？对于单次性或结构简单的爬取任务，Scrapy框架稍显笨重，学习和调试成本在项目初期更高。Requests+BeautifulSoup的组合足以应对分页遍历、提取标签内容等常规操作，代码也更直观易懂。当然，如果目标网站结构复杂、需要爬取大量数据或要求更高的稳定性和效率，Scrapy是更专业的选择。

数据处理与分析：Pandas这是毫无争议的选择。Pandas的DataFrame数据结构是处理表格型数据的利器。数据清洗（处理缺失值、异常值、重复值）、数据转换（类型转换、字符串分割、特征提取）、数据聚合与分组统计，这些操作在Pandas中都有高效且优雅的实现。例如，从“3室2厅1卫”这样的字符串中提取出卧室数、客厅数，或者计算每个行政区的平均单价，用Pandas几行代码就能搞定。

数据可视化：Matplotlib + Seaborn + (可选) Pyecharts这是一个分层使用的策略。

• Matplotlib：是基础，提供了极大的灵活性，可以绘制任何你能想到的图表。但默认样式比较“学术”，需要手动调整很多参数才能达到美观的效果。在本项目中，它主要用于绘制一些需要高度定制化的图表。
• Seaborn：基于Matplotlib，提供了更高级的API和更美观的默认样式。它的统计绘图功能非常强大，比如分布图（distplot）、箱线图（boxplot）、热力图（heatmap）、关系图（relplot）等，非常适合做探索性数据分析（EDA）。本项目中的大部分统计图表都使用Seaborn完成，能极大提升出图效率和美观度。
• Pyecharts：这是一个生成Echarts图表的库，优势在于可以生成交互式图表，并且支持在Jupyter Notebook中直接显示，或者导出为HTML文件。如果想让最终报告更具互动性，比如地图可视化、数据联动筛选，Pyecharts是很好的补充。在本项目的PPT中，静态图表已足够，但源码中也可以加入这部分作为扩展。

开发环境：Jupyter Notebook / Lab对于数据分析这种探索性强、需要反复试错和即时查看结果的工作流程，Jupyter Notebook是绝佳的选择。它支持将代码、可视化结果、文字说明（Markdown）整合在一个文档中，非常适合记录分析过程和呈现最终报告。项目源码通常就是以.ipynb文件的形式提供。

注意：技术选型没有绝对的对错，只有适合与否。这个选型方案平衡了学习成本、开发效率和项目需求，是一个经过实践验证的稳健组合。对于初学者，建议先掌握这个组合，再根据具体项目需求拓展到其他工具。

3. 数据获取与清洗的实战细节

3.1 目标网站分析与爬虫策略

以常见的二手房信息平台为例（具体平台名因合规要求隐去，但方法是通用的），我们首先需要人工浏览几个房源页面，用浏览器的开发者工具（F12）查看网页结构。

• 列表页分析：观察列表页的URL规律。通常会有分页参数，如page=1,page=2。找到包含房源标题、链接、总价、单价等概要信息的HTML标签和CSS选择器。
• 详情页分析：点击进入一个房源，分析详情页的结构。找到面积、户型、朝向、楼层、建筑年代、小区名称、所在区域等详细信息的存放位置。

爬虫策略通常采用“列表页抓取链接 -> 详情页抓取详细信息”的两级结构。这里有几个关键点：

1. 请求头（Headers）设置：务必设置合理的User-Agent，模拟真实浏览器访问。有时还需要添加Referer等字段，以绕过简单的反爬检查。

   headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...' } response = requests.get(url, headers=headers)

2. 频率控制：在循环抓取页面时，一定要使用time.sleep()在请求间加入随机延时（如1-3秒），避免对目标网站造成过大压力，这也是基本的网络礼仪。
3. 异常处理：网络请求可能失败（超时、404等），解析HTML时可能找不到预期的标签。代码中必须用try...except包裹核心逻辑，记录错误并跳过，保证爬虫的健壮性。
4. 数据存储：每爬取完一个房源的信息，可以立即将其追加写入到一个CSV文件或数据库中。我更喜欢先存入一个Python列表（list of dicts），全部爬取完成后，再用pandas.DataFrame()一次性转换成DataFrame并保存为CSV，这样更清晰。

3.2 数据清洗的典型操作与Pandas技巧

爬取到的原始数据就像刚从地里挖出来的土豆，沾满了泥土（无效字符、缺失值、格式不一），清洗就是给土豆去皮、切块的过程。

1. 处理缺失值：使用df.isnull().sum()快速查看各列缺失情况。对于关键数值列（如价格、面积），如果缺失比例不高，可以考虑用中位数或均值填充（df[‘price’].fillna(df[‘price’].median(), inplace=True)）。对于文本列（如朝向），如果缺失，可以填充为“未知”。如果某条数据关键信息缺失过多，直接删除（df.dropna(subset=[‘key_column’], inplace=True)）。

2. 处理异常值：这是保证分析结果可信的关键。例如，单价或总价出现明显不符合常识的极低或极高值（如单价100元/平米或100万元/平米）。可以通过描述性统计（df[‘price_per_sqm’].describe()）查看分布，然后使用分位数（如1%和99%）进行截断，或者基于业务知识（如设定单价在5000-100000元/平米为合理范围）进行过滤。

   # 基于分位数过滤异常值 lower_limit = df[‘price_per_sqm’].quantile(0.01) upper_limit = df[‘price_per_sqm’].quantile(0.99) df = df[(df[‘price_per_sqm’] >= lower_limit) & (df[‘price_per_sqm’] <= upper_limit)]

3. 数据转换与特征提取：

   • 字符串分割：从“鼓楼区-山西路”这样的字符串中提取区名。df[‘district’] = df[‘location’].str.split(‘-‘).str[0]
   • 单位转换与数值化：面积可能是“89.5平米”，需要去掉“平米”并转为浮点数。df[‘area’] = df[‘area_str’].str.replace(‘平米’, ‘’).astype(float)
   • 分类变量编码：朝向“南/北”是文本，对于某些模型可能需要数值化。可以使用pd.Categorical或map函数。
   • 衍生特征：计算单价 = 总价 / 面积。df[‘unit_price’] = df[‘total_price’] / df[‘area’]

4. 处理重复数据：使用df.duplicated().sum()检查，并用df.drop_duplicates()删除完全重复的行。

实操心得：数据清洗往往占用整个项目60%以上的时间。一定要耐心，每一步清洗操作后，都用df.head()、df.info()、df.describe()看看数据状态。清洗过程最好在Jupyter Notebook中分步骤、分单元格进行，并附上文字说明，这样形成的笔记本身就是一份宝贵的数据清洗文档。

4. 探索性数据分析与可视化实战

数据清洗干净后，就进入了最有趣的环节——探索性数据分析。我们通过可视化，让数据自己“说话”。

4.1 单变量分析：理解每个特征的分布

• 价格与面积分布：使用seaborn.histplot或seaborn.displot绘制总价、单价、面积的直方图，并叠加核密度估计（KDE）曲线。这能直观看出市场的主流价格段和面积段集中在哪。例如，你可能会发现南京二手房总价集中在200-500万，面积集中在70-120平米。

  import seaborn as sns import matplotlib.pyplot as plt plt.figure(figsize=(12, 5)) plt.subplot(1, 2, 1) sns.histplot(data=df, x=‘total_price’, kde=True, bins=30) plt.title(‘总价分布’) plt.subplot(1, 2, 2) sns.histplot(data=df, x=‘unit_price’, kde=True, bins=30) plt.title(‘单价分布’) plt.tight_layout() plt.show()

• 户型与区域分布：对于户型（如“3室2厅”）和区域（如“鼓楼区”、“建邺区”）这类分类变量，使用seaborn.countplot绘制条形图，可以快速看出哪种户型最受欢迎，哪个区的房源最多。
• 建筑年代分布：同样用条形图或直方图，观察房龄结构。是次新房（5-10年）为主，还是老小区（20年以上）居多？

4.2 双变量与多变量分析：发现特征间的关系

• 区域与价格关系：这是核心分析之一。使用seaborn.boxplot绘制每个行政区的单价箱线图。箱线图能同时展示中位数、四分位数、异常值，非常适合比较不同组别的分布。一眼就能看出鼓楼、建邺等核心区的单价中位数远高于六合、高淳等外围区。

  plt.figure(figsize=(14, 6)) # 按区域分组绘制单价箱线图，并按单价中位数排序 order = df.groupby(‘district’)[‘unit_price’].median().sort_values(ascending=False).index sns.boxplot(data=df, x=‘district’, y=‘unit_price’, order=order) plt.xticks(rotation=45) # 旋转x轴标签避免重叠 plt.title(‘各行政区二手房单价分布对比’) plt.show()

• 面积与总价关系：使用seaborn.scatterplot绘制散点图，并可以用hue参数按区域着色。这能直观展示“面积越大，总价越高”的正相关关系，同时也能看到不同区域的点分布在不同的“价格带”上。
• 户型与单价关系：可以分析在相同区域内，不同户型（如2室 vs 3室）的单价是否有显著差异。可以使用分组箱线图或小提琴图（seaborn.violinplot）来观察。
• 相关性热力图：对于数值型特征（总价、单价、面积、房龄等），计算它们之间的皮尔逊相关系数矩阵，并用seaborn.heatmap绘制热力图。颜色越深（或越浅，取决于配色）表示相关性越强。这能快速发现哪些特征与价格强相关。

4.3 空间数据可视化（进阶）

如果数据中包含了小区名称或更精确的地址，可以通过地理编码（调用地图API，如高德、百度，需申请密钥）获取经纬度，然后进行地图可视化。

• 基础点图：使用scatterplot，将经度、纬度作为x, y轴，点的大小或颜色代表单价，可以绘制出南京二手房价格的“热力地图”。
• 交互式地图：使用pyecharts的Geo或BMap组件，可以生成更炫酷、可交互的在线地图，支持缩放、拖动、点击查看详情。这部分代码可以单独生成一个HTML报告，作为PPT的补充材料。

注意事项：可视化不是为了炫技，而是为了传达信息。每个图表都应该有清晰的标题、坐标轴标签和图例。颜色搭配要协调且易于区分（可使用seaborn的默认配色或Set2,Set3等分类调色板）。避免在一个图中塞入过多信息导致难以阅读。在PPT中呈现时，一图一结论，将最重要的发现用最直观的图表展示出来。

5. 从分析到洞察：核心发现与报告撰写

可视化之后，我们需要解读图表，提炼出有商业或参考价值的洞察，并组织成一份连贯的报告（PPT）。

5.1 典型分析结论示例

基于上述分析，你可能会得出以下类似结论（以模拟数据为例）：

1. 价格梯队明显：南京二手房单价呈现明显的“中心高、外围低”格局。鼓楼、玄武、建邺构成第一梯队（单价超4万/平），秦淮、栖霞为第二梯队，浦口、江宁部分板块为第三梯队，六合、高淳为价格洼地。
2. 刚需户型主导市场：2室和3室户型占据了总房源量的75%以上，是市场的绝对主流。其中，紧凑型3室（90-110平）的成交活跃度最高，反映了市场以首套刚需和首次改善需求为主。
3. 面积与总价强相关，但单价与面积关系复杂：散点图显示面积与总价呈清晰的线性正相关。然而，进一步按区域拆分会发现，核心区小户型的单价往往更高（单价高），而郊区大户型的单价较低，但总价可能因为面积大而不低。
4. 房龄影响显著：在同一区域内，房龄10年内的次新房单价普遍比20年以上的老小区高出15%-25%。但超过20年后，房龄对价格的边际影响减弱。
5. “学-铁-商”配套溢价：通过地图可视化叠加学区、地铁线、商业中心，可以定性发现，拥有优质学区、临近地铁口、位于成熟商圈的房源，其单价存在显著溢价。

5.2 PPT报告结构设计

一份好的数据分析PPT，不是代码和图的堆砌，而是一个有逻辑的故事。

• 封面：项目名称、作者、日期。
• 目录/分析脉络：清晰展示报告结构。
• 项目背景与目标：为什么要做这个分析？想回答什么问题？（例如：了解南京二手房市场格局，为购房决策提供数据参考）。
• 数据来源与处理说明：简要说明数据怎么来的，经过了哪些清洗步骤，保证了数据的可信度。
• 核心分析部分：这是主体，按照“宏观到微观”或“总体到局部”的逻辑展开。例如：
  1. 市场概览：总价、单价、面积的整体分布。
  2. 区域分析：各行政区价格对比、房源量对比。
  3. 产品分析：户型、房龄、朝向等对价格的影响。
  4. 深度洞察：结合地理信息的发现（如地铁房溢价）、特定板块分析（如河西新城）。
• 总结与建议：用一两页PPT总结最重要的发现。如果是商业报告，可以提出策略建议（如：针对刚需客户，可重点关注X区Y板块的Z户型）。如果是学习项目，可以总结技术心得和后续优化方向。
• Q&A：预留一页。

5.3 源码与文档的组织

一个负责任的项目，其源码和文档应该是清晰、可复现的。

• 源码（.ipynb或.py文件）：
  • 注释清晰：在每个关键步骤、复杂逻辑处添加注释。
  • 模块化：可以将爬虫、清洗、分析、绘图分别写成函数或放在不同的代码单元格中。
  • 路径处理：使用os.path相关函数处理文件路径，避免硬编码。将原始数据、清洗后数据、生成的图片分别放在不同的文件夹（如/data/raw,/data/cleaned,/output/figures）。
• README.md：在项目根目录提供一个README文件，说明项目背景、如何配置环境（requirements.txt）、如何运行代码、数据来源声明等。
• PPT文档：基于分析结果精心制作，图表清晰，结论突出。可以将最终的可视化图表以高分辨率（如300 DPI）导出为PNG或PDF，再插入PPT，保证清晰度。

6. 常见问题与避坑指南实录

在实际操作这个项目或类似数据可视化项目时，你几乎一定会遇到以下问题。这里记录了我的排查过程和解决方法。

6.1 爬虫阶段问题

问题1：请求被拒绝，返回403状态码或验证码页面。

• 原因：网站识别出爬虫行为。可能因为请求头不完整、频率过高、或IP被暂时封禁。
• 排查与解决：
  1. 检查Headers：确保User-Agent是常见的浏览器字符串。可以尝试添加Referer,Accept-Language等字段，使其更像浏览器。
  2. 降低频率：在请求间增加随机延时time.sleep(random.uniform(1, 3))。
  3. 使用Session：requests.Session()可以保持会话，有时比单次请求更友好。
  4. 代理IP：如果问题严重，可能需要使用代理IP池。但对于学习项目，前三点通常足够。
  5. 模拟JavaScript：如果数据是通过JS动态加载的，requests无法直接获取。此时需要用到Selenium或Playwright这类浏览器自动化工具。这是另一个技术栈，如果遇到，可以先标记，后续专项学习。

问题2：解析HTML时，BeautifulSoup找不到标签，返回空列表。

• 原因：网页结构发生变化，或者你的CSS选择器/XPath写错了。
• 排查与解决：
  1. 打印响应内容：print(response.text[:2000])查看实际获取到的HTML，与浏览器开发者工具里看到的结构对比。
  2. 使用更稳健的选择器：避免使用过于脆弱的选择器（如依赖具体的class名或id，这些容易变）。尝试使用标签层级关系或属性组合。
  3. 尝试XPath：如果CSS选择器不行，可以换用lxml解析器配合XPath。BeautifulSoup也支持find和select方法，有时find的文本匹配更灵活。
  4. 异常处理：一定要用try-except包裹解析代码，避免因个别页面结构不同导致整个程序崩溃。

6.2 数据处理与可视化阶段问题

问题3：Pandas读取或合并数据时出现内存错误或速度极慢。

• 原因：数据量过大（几十万行以上），或者进行了低效的操作（如循环遍历DataFrame）。
• 排查与解决：
  1. 指定数据类型：用pd.read_csv(..., dtype={‘column1’: ‘int32’, ‘column2’: ‘category’})指定列的数据类型，可以大幅减少内存占用。
  2. 使用向量化操作：绝对避免用for循环处理DataFrame的行。使用Pandas内置的向量化函数（如.str.replace(),.apply()配合lambda函数要谨慎）或NumPy函数。
  3. 分块处理：对于超大文件，可以使用pd.read_csv(..., chunksize=50000)进行分块读取和处理。
  4. 过滤早期数据：如果不需要所有列，用usecols参数只读取需要的列。

问题4：绘制的图表中文显示为方框（乱码）。

• 原因：Matplotlib默认字体不包含中文字符。
• 解决：在绘图前添加以下代码，指定中文字体。你需要知道系统里一个中文字体的路径。

  import matplotlib.pyplot as plt plt.rcParams[‘font.sans-serif’] = [‘SimHei’] # 用来正常显示中文标签（黑体） plt.rcParams[‘axes.unicode_minus’] = False # 用来正常显示负号

  如果‘SimHei’不行，可以尝试‘Microsoft YaHei’（微软雅黑），或者找到字体文件路径直接指定：font = FontProperties(fname=‘/path/to/your/font.ttf’)，然后在绘图函数中设置fontproperties=font。

问题5：Seaborn图表样式被Matplotlib覆盖，或者多子图布局混乱。

• 原因：Seaborn是基于Matplotlib的，两者混用时，调用顺序和设置会影响最终样式。
• 解决：
  1. 先设置Seaborn样式：在导入matplotlib.pyplot之后，尽早执行sns.set_theme(style=‘whitegrid’)。这个函数会设置一系列美观的默认参数。
  2. 使用plt.subplots()创建画布和轴对象：这是更推荐的方式，可以精确控制每个子图的位置和大小。

     fig, axes = plt.subplots(2, 2, figsize=(12, 10)) # 2行2列 sns.histplot(data=df, x=‘price’, ax=axes[0, 0]) sns.boxplot(data=df, x=‘district’, y=‘price’, ax=axes[0, 1]) # ... 其他绘图 plt.tight_layout() # 自动调整子图间距，避免重叠 plt.show()

  3. plt.figure()vsplt.subplot()：对于简单图表，plt.figure()后接plt.subplot(221)等也可行，但subplots()方法更现代、更清晰。

6.3 项目组织与复现问题

问题6：别人无法运行我的代码，提示缺少库或数据路径错误。

• 原因：环境依赖不明确，或使用了绝对路径。
• 解决：
  1. 生成requirements.txt：在项目根目录，使用命令pip freeze > requirements.txt导出当前环境的包列表。别人可以通过pip install -r requirements.txt一键安装。
  2. 使用相对路径：在代码中，使用os.path.join(‘data’, ‘raw’, ‘houses.csv’)来构建文件路径。将数据和代码放在项目目录的固定结构下。
  3. 提供清晰的README：在README中写明Python版本（如3.8+）、如何安装依赖、如何运行主程序、数据如何放置。

问题7：分析结论不稳定，每次跑结果略有差异。

• 原因：数据清洗或分析步骤中存在随机性（如随机采样填充缺失值），或者爬虫每次抓取的数据有细微变动。
• 解决：
  1. 设置随机种子：在任何使用随机数的地方（如numpy.random,random模块），在程序开头设置一个固定的种子np.random.seed(42)和random.seed(42)，确保可复现性。
  2. 固化数据：将清洗后的最终分析数据保存为一个版本文件（如cleaned_data_v1.0.csv）。后续的分析和可视化都基于这个固定的数据文件进行，而不是每次重新爬取和清洗。这在正式报告中尤为重要。

这个基于Python的南京二手房数据可视化项目，本质上是一个数据科学小闭环的微型演练。它锻炼的不仅仅是写代码的能力，更是从模糊需求到清晰问题定义，从杂乱数据到清晰洞察，从技术实现到成果表达的全流程思维。过程中踩的每一个坑，解决的每一个问题，都是比单纯学会某个库函数更宝贵的经验。当你完整地跟做或自己实现一遍后，再去看那些真实业务中的数据分析需求，心里会踏实很多。

本文还有配套的精品资源，点击获取