高考志愿推荐系统：PySpark+Hadoop架构设计与实践

1. 高考志愿推荐系统架构设计

高考志愿填报是每个考生面临的重要决策，传统推荐系统往往存在数据孤岛、响应延迟和个性化不足三大痛点。我们基于Python+PySpark+Hadoop技术栈构建的分布式推荐系统，通过以下架构设计有效解决了这些问题。

1.1 数据层设计

数据层是整个系统的基础，需要处理多源异构数据的采集、清洗和存储。我们采用Hadoop生态系统构建了完整的数据管道：

• 数据采集模块： 使用Python的Scrapy框架开发分布式爬虫集群，每天定时从各省教育考试院官网抓取最新的招生计划数据。考虑到反爬机制，我们实现了动态IP代理池和请求频率控制。对于结构化数据（如历年录取分数线），通过Requests库调用官方API获取JSON格式数据。

• 数据存储方案： 原始数据以Parquet列式存储格式保存在HDFS的/raw_data目录下，按/province/year/data_type三级目录组织。采用Hive建立数据仓库时，特别设计了以下优化：

  CREATE EXTERNAL TABLE admission_stats ( province_id STRING, college_id STRING, major_id STRING, avg_score DOUBLE, min_rank INT ) PARTITIONED BY (year INT) STORED AS PARQUET LOCATION '/hive/warehouse/admission_stats';

  这种分区设计使得查询特定年份数据时只需扫描对应分区，查询效率提升5-8倍。

关键经验：历史录取数据一定要包含位次信息而不仅是分数，因为高考分数每年波动较大，位次才是更稳定的参考指标。

1.2 计算层实现

计算层采用PySpark作为统一引擎，实现批处理和流计算的融合：

• 批处理作业： 每天凌晨通过Airflow调度PySpark作业，计算各专业的历史录取统计特征：

  from pyspark.sql import functions as F df = spark.read.parquet("/raw_data/admission/2023") stats = df.groupBy("college_id", "major_id").agg( F.avg("score").alias("avg_score"), F.percentile_approx("score", 0.8).alias("safe_score"), F.count("*").alias("applicant_count") ) stats.write.mode("overwrite").parquet("/processed_data/stats/2023")

• 实时计算： 使用PySpark Structured Streaming处理考生交互事件：

  from pyspark.sql.types import StructType, StringType, IntegerType schema = StructType().add("student_id", StringType()) \ .add("action", StringType()) \ .add("score", IntegerType()) stream = spark.readStream.format("kafka") \ .option("kafka.bootstrap.servers", "kafka:9092") \ .option("subscribe", "student_actions") \ .load() parsed = stream.selectExpr("CAST(value AS STRING)") \ .select(F.from_json("value", schema).alias("data")) \ .select("data.*") query = parsed.writeStream \ .outputMode("append") \ .format("parquet") \ .option("path", "/streaming/student_actions") \ .option("checkpointLocation", "/checkpoints/actions") \ .start()

实际部署时发现，当Executor内存不足时容易导致流处理任务失败。我们的解决方案是在YARN配置中为Streaming作业单独分配更大的Executor内存，并启用动态资源分配。

1.3 推荐算法设计

核心推荐算法采用混合策略，结合多种推荐技术的优势：

1.3.1 协同过滤实现

使用PySpark MLlib的ALS算法构建考生-专业交互矩阵：

from pyspark.ml.recommendation import ALS ratings = spark.read.parquet("/processed_data/student_actions") als = ALS(rank=50, maxIter=10, regParam=0.01, userCol="student_id", itemCol="major_id", ratingCol="action_score") model = als.fit(ratings) recommendations = model.recommendForAllUsers(20)

这里action_score是根据考生行为（查看、收藏、模拟填报）计算的隐式反馈分数。实践中发现，对冷门专业需要添加平滑系数避免推荐过于集中：

als.setImplicitPrefs(True).setAlpha(0.5) # 调节隐式反馈权重

1.3.2 内容特征提取

使用Sentence-BERT处理专业描述文本：

from sentence_transformers import SentenceTransformer model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2') major_descriptions = spark.read.parquet("/data/major_descriptions") descriptions = [row.description for row in major_descriptions.collect()] embeddings = model.encode(descriptions)

将生成的768维向量存入Redis，供实时推荐使用：

import redis r = redis.Redis(host='redis', port=6379) for mid, emb in zip(major_ids, embeddings): r.hset(f"major:{mid}", "embedding", emb.tobytes())

1.3.3 混合推荐策略

最终推荐分数由三部分组成：

总分 = 0.5*协同过滤分数 + 0.3*内容匹配分数 + 0.2*录取概率

其中录取概率使用XGBoost预测：

import xgboost as xgb dtrain = xgb.DMatrix(train_features, label=train_labels) params = {'objective': 'binary:logistic', 'max_depth': 6} model = xgb.train(params, dtrain, num_boost_round=100)

2. 系统实现关键问题与解决方案

2.1 性能优化实践

在处理某省300万考生历史数据时，初始查询延迟高达15秒。通过以下优化降至1.2秒：

1. 数据分区优化：

   • 按(province, year)双重分区
   • 热门省份单独配置更大分区块大小

2. 缓存策略：

   spark.conf.set("spark.sql.inMemoryColumnarStorage.compressed", "true") spark.conf.set("spark.sql.inMemoryColumnarStorage.batchSize", "10000")

3. 执行计划调优：

   df.createOrReplaceTempView("stats") optimized = spark.sql(""" SELECT /*+ BROADCASTJOIN(s) */ c.name, m.name, s.avg_score FROM stats s JOIN colleges c ON s.college_id=c.id JOIN majors m ON s.major_id=m.id WHERE s.province_id='32' AND s.year=2023 """)

监控显示优化后CPU利用率从35%提升至68%，内存使用更加均衡。

2.2 冷启动问题处理

对于新考生，采用以下策略组合：

1. 基于规则的初筛：

   def rule_based_filter(score, subject): candidates = [] for major in majors: if (major.min_score <= score <= major.safe_score and set(subject).issuperset(major.required_subjects)): candidates.append(major) return candidates

2. 兴趣标签扩展： 使用TF-IDF分析考生填写的兴趣描述，与专业关键词库匹配：

   from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer(vocabulary=professional_terms) interest_vec = vectorizer.transform([student.interest]) major_vecs = vectorizer.transform(major_descriptions) similarities = interest_vec.dot(major_vecs.T).toarray()[0]

3. 地域偏好加权：

   if student.preferred_cities: for major in candidates: if major.college.city in student.preferred_cities: major.score *= 1.2 # 地域偏好加权

实测这套方案使新考生推荐覆盖率从62%提升至89%。

3. 系统部署与运维

3.1 集群资源配置

我们的生产环境采用10节点Hadoop集群：

YARN资源配置关键参数：

<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>112640</value> <!-- 110GB --> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>57344</value> <!-- 56GB --> </property>

3.2 监控与告警

使用Prometheus+Grafana构建监控看板，重点关注：

• Spark指标：

  • spark_executor_metrics_memory.used：内存使用率
  • spark_stage_executorRunTime：任务执行时间

• 系统指标：

  • node_memory_MemAvailable_bytes：节点可用内存
  • disk_used_percent：磁盘使用率

设置以下告警规则：

groups: - name: spark-alerts rules: - alert: ExecutorOOM expr: spark_executor_metrics_memory.used / spark_executor_metrics_memory.total > 0.9 for: 5m

4. 效果评估与优化方向

4.1 A/B测试结果

在某省2023年高考期间进行对比测试：

4.2 未来优化方向

1. 联邦学习应用： 在不共享原始数据的前提下，通过联合各高校的模型参数更新，提升推荐效果：

   from tensorflow_federated import learning def model_fn(): return tf.keras.Sequential([...]) process = learning.build_federated_averaging_process(model_fn)

2. 强化学习优化： 将志愿填报视为序列决策问题，使用PPO算法优化长期录取概率：

   import ray.rllib.agents.ppo as ppo config = ppo.DEFAULT_CONFIG.copy() config["env"] = "CollegeAdmissionEnv" trainer = ppo.PPOTrainer(config=config)

3. 可解释性增强： 使用LIME方法生成推荐解释：

   from lime.lime_tabular import LimeTabularExplainer explainer = LimeTabularExplainer(training_data) exp = explainer.explain_instance(test_case, model.predict_proba) exp.show_in_notebook()

这套系统在实际部署中验证了分布式架构处理教育大数据的可行性。通过合理的架构设计和算法组合，不仅解决了传统系统的性能瓶颈，还显著提升了推荐质量。对于高校和考试院来说，这种方案可以有效降低考生填报风险，优化招生资源配置。