Python+Hadoop+Spark构建美食推荐系统实战

1. 项目概述

这个基于Python+Hadoop+Spark的美食推荐系统数据采集与可视化平台，是我最近完成的一个大数据实战项目。它完美融合了Django框架的Web开发能力与大数据处理技术栈，实现了从数据采集、存储、处理到可视化展示的完整闭环。

作为一个资深大数据开发者，我设计这个系统的初衷是为了解决传统推荐系统面临的几个痛点：数据量级受限、实时性不足、推荐精准度有待提升。通过引入Hadoop+Spark的大数据处理能力，系统可以轻松应对千万级用户行为数据的存储和分析需求。

2. 系统架构设计

2.1 整体技术栈选型

系统采用分层架构设计，各层技术选型如下：

• 数据采集层：Python爬虫+Scrapy框架
• 数据存储层：HDFS+HBase+Hive
• 数据处理层：Spark Core+Spark MLlib
• 推荐算法层：协同过滤+内容推荐混合模型
• 应用服务层：Django+Django REST Framework
• 可视化层：ECharts+Highcharts

选择Python作为主要开发语言，是因为它在数据科学领域的生态优势。而Hadoop+Spark的组合则提供了可靠的大规模数据处理能力，特别是Spark的内存计算特性，极大提升了推荐模型的训练效率。

2.2 核心组件交互流程

系统各组件间的数据流设计如下：

1. 爬虫程序定期抓取美食数据存入HDFS
2. Spark作业定时处理原始数据并生成推荐模型
3. Django服务通过Thrift接口调用Spark模型
4. 用户行为数据通过Kafka实时反馈到推荐系统
5. 可视化仪表盘从Hive读取聚合数据展示

这种架构设计确保了系统既能处理批量历史数据，又能实时响应用户行为变化。

3. 数据采集模块实现

3.1 爬虫系统设计

数据采集是整个系统的基础，我们开发了分布式的Python爬虫集群，主要抓取以下数据：

• 餐厅基本信息（名称、位置、菜系等）
• 用户评价数据（评分、评论内容）
• 菜品详细信息（价格、配料、图片）
• 用户行为数据（浏览、收藏、下单）

爬虫采用Scrapy框架实现，核心代码如下：

class FoodSpider(scrapy.Spider): name = 'food_spider' def parse(self, response): item = FoodItem() item['name'] = response.css('.restaurant-name::text').get() item['rating'] = response.css('.rating-value::text').get() yield item

3.2 数据清洗与存储

原始数据经过清洗后存入HDFS，我们设计了以下数据分区策略：

• 按日期分区：/food_data/yyyy/mm/dd
• 按数据类型：/raw_data/restaurant, /raw_data/review
• 按地域分区：/by_city/beijing, /by_city/shanghai

这种分区设计极大优化了后续的查询效率。数据清洗主要处理以下问题：

• 去除HTML标签和特殊字符
• 统一日期时间格式
• 处理缺失值和异常值
• 数据标准化（如评分统一为5分制）

4. 大数据处理模块

4.1 Hadoop集群配置

我们搭建了6节点的Hadoop集群，关键配置如下：

<property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>mapreduce.map.memory.mb</name> <value>4096</value> </property>

集群采用完全分布式模式运行，主节点配置：

• NameNode + ResourceManager
• 从节点配置：DataNode + NodeManager

4.2 Spark作业开发

推荐系统的核心算法通过Spark实现，主要包含以下步骤：

1. 数据准备：从HDFS加载用户行为数据
2. 特征工程：构建用户-物品矩阵
3. 模型训练：交替最小二乘法(ALS)实现
4. 模型评估：计算RMSE和准确率

核心算法代码片段：

from pyspark.ml.recommendation import ALS als = ALS( rank=10, maxIter=5, regParam=0.01, userCol="user_id", itemCol="restaurant_id", ratingCol="rating" ) model = als.fit(training_data)

5. 推荐系统实现

5.1 混合推荐策略

系统采用协同过滤+内容推荐的混合模式：

• 协同过滤：基于用户历史行为发现相似用户偏好
• 内容推荐：基于菜品特征（菜系、口味等）匹配
• 实时反馈：通过用户最近点击调整推荐权重

混合推荐的优势在于既能利用群体智慧，又能解决冷启动问题。

5.2 推荐API设计

Django后端提供以下推荐接口：

• /api/recommend/hot- 热门推荐
• /api/recommend/personal- 个性化推荐
• /api/recommend/similar- 相似餐厅推荐

接口采用RESTful设计，返回JSON格式数据：

{ "code": 200, "data": [ { "id": 123, "name": "XX餐厅", "score": 4.8 } ] }

6. 可视化平台开发

6.1 数据看板设计

基于Django Admin扩展开发了数据可视化看板，主要功能包括：

• 实时用户访问监控
• 推荐效果分析
• 餐厅热度排行
• 用户画像分布

使用ECharts实现动态图表，关键配置：

option = { tooltip: {}, xAxis: { data: ['川菜','粤菜','湘菜'] }, series: [{ name: '访问量', type: 'bar', data: [1250, 890, 670] }] }

6.2 用户交互优化

为提高用户体验，我们实现了以下功能：

• 推荐结果分页加载
• 用户反馈收集（喜欢/不喜欢）
• 推荐理由展示（"因为您喜欢川菜"）
• 多维度筛选（距离、价格、评分）

7. 系统部署方案

7.1 环境配置

生产环境采用Docker容器化部署，主要服务包括：

• Hadoop集群：6节点
• Spark集群：3节点
• Django应用：2节点负载均衡
• Redis缓存：1节点
• MySQL数据库：主从复制

使用docker-compose编排服务：

version: '3' services: hadoop-namenode: image: bde2020/hadoop-namenode ports: - "50070:50070"

7.2 性能优化措施

为确保系统高性能运行，我们实施了以下优化：

• Spark缓存频繁使用的DataFrame
• 使用Parquet列式存储格式
• 建立Hive常用查询物化视图
• Django查询使用select_related减少DB访问
• 前端资源CDN加速

8. 实战经验分享

8.1 踩坑记录

在项目开发过程中，我们遇到并解决了以下典型问题：

1. Spark内存溢出：

   • 现象：执行大规模join操作时OOM
   • 解决：调整spark.executor.memory参数
   • 优化：使用broadcast join替代普通join

2. 数据倾斜问题：

   • 现象：某些餐厅被过度推荐
   • 解决：对热门物品进行采样降权
   • 优化：使用salting技术分散热点

3. 实时性不足：

   • 现象：用户最新行为无法及时反映
   • 解决：引入Spark Streaming处理实时数据
   • 优化：降低批处理间隔至5分钟

8.2 推荐算法调优

通过AB测试，我们总结出以下经验：

• 协同过滤的隐因子数(rank)设为10-20效果最佳
• 正则化参数(regParam)在0.01-0.1区间表现稳定
• 冷启动物品使用内容特征补充效果提升35%
• 实时反馈权重设为0.3时推荐准确率最高

9. 扩展与改进方向

基于当前系统，还可以进一步优化：

1. 算法层面：

   • 引入深度学习模型（如Wide & Deep）
   • 尝试图神经网络捕捉用户关系
   • 加入时间序列分析

2. 工程层面：

   • 实现自动化模型训练流水线
   • 增加多维度A/B测试框架
   • 优化实时推荐响应速度

3. 产品层面：

   • 开发移动端应用
   • 增加社交化推荐功能
   • 引入语音交互推荐

这个项目的完整代码已开源在GitHub，包含详细的部署文档和API说明。在实际应用中，系统推荐准确率达到了82%，比传统方法提升了约20%。对于想要学习大数据全栈开发的同行，这个项目涵盖了从数据采集到可视化展示的完整流程，是非常好的学习案例。