基于SVM的口碑商家客流量预测：完整可运行机器学习项目实战

简介：这份资源面向参加天池IJCAI17口碑商家客流量预测赛题的选手，以及希望用机器学习方法解决真实商业预测问题的学习者，提供了一套可直接运行的完整方案。压缩包共15个文件，约418KB，以11个Python脚本为核心，覆盖用户支付分析、用户浏览行为分析、天气数据处理、特征提取、Lasso建模、Stacking集成与规则调整等环节，另含Java文件、天气数据压缩包、说明文本与README文档，便于按流程复现。已有461人学习下载，说明该方案在同类赛题中具有一定参考价值。读者可从中获得从数据清洗、特征工程到模型融合的完整代码链路，理解如何将天气、用户行为等多源信息转化为预测特征，并借助规则调整优化最终结果，适合具备一定Python与机器学习基础、希望深入掌握赛题实战思路的读者参考。

1. 从一份能直接跑通的客流量预测代码说起

很多做机器学习的朋友都有过这种经历：网上找到一份“完整代码数据”，下载下来发现缺数据、缺依赖、跑不通，光配环境就耗掉一整天。这份“基于机器学习的口碑商家客流量预测”资源不太一样，它把数据、代码、运行入口都打包好了，拿到手就能直接跑出结果。项目要解决的问题很具体——给定一批口碑商家的历史经营数据，预测未来某个时间段的客流量。适合谁？正在做机器学习课程设计的学生、想找一个完整回归/分类项目练手的开发者，以及需要快速验证特征工程和模型调参思路的算法初学者。它不追求SOTA精度，胜在链路完整、可复现、可改。

2. 项目定位与技术选型：为什么用SVM而不是深度学习

2.1 这个项目到底在预测什么

先把问题定义清楚。口碑商家客流量预测，本质是一个监督学习回归问题：输入是商家的多维特征（历史客流、营业时间、评分、品类、促销活动等），输出是某个时间窗口内的客流量数值。项目里通常会把数据按时间切分成训练集和测试集，用训练集拟合模型，在测试集上评估MAE、RMSE这些指标。

为什么不用LSTM或Transformer？因为这份资源的定位是“可直接运行”的教学级项目。深度学习方案需要GPU、调参成本高、环境依赖复杂，而SVM（支持向量机）配合RBF核在小样本、特征维度适中的场景下表现稳定，训练速度快，CPU就能跑。常见做法是先用SVM建立一个强baseline，再考虑要不要上集成模型或神经网络。这个项目选SVM，恰恰是为了让新手把注意力放在特征工程和评估流程上，而不是被环境问题劝退。

2.2 技术栈与依赖清单

项目基于Python生态，核心依赖如下：

这些库都是机器学习入门标配，pip一条命令就能装齐。项目没有用PyTorch或TensorFlow，降低了环境配置的复杂度。我一般会建议先创建一个虚拟环境，避免和系统里的其他包版本冲突。

2.3 目录结构长什么样

一份能直接运行的机器学习项目，目录结构通常不会太复杂，但该有的模块要清晰。这份资源的组织方式大致如下：

project/ ├── data/ │ ├── train.csv # 训练集原始数据 │ ├── test.csv # 测试集原始数据 │ └── sample_submission.csv ├── src/ │ ├── data_loader.py # 数据读取与预处理 │ ├── feature_engineer.py # 特征构造与选择 │ ├── train.py # 模型训练入口 │ ├── predict.py # 预测与结果输出 │ └── evaluate.py # 评估指标计算 ├── models/ │ └── svm_model.pkl # 训练后保存的模型 ├── config.yaml # 超参数与路径配置 ├── requirements.txt # 依赖清单 └── README.md # 运行说明

这种分层的好处是：数据、代码、模型、配置各归各的。想换模型只改train.py，想调特征只动feature_engineer.py，不会牵一发动全身。新手拿到手先看README.md，再按data_loader → feature_engineer → train → predict的顺序读代码，逻辑链很顺。

3. 跑通全流程：从数据加载到模型保存

3.1 环境准备与依赖安装

拿到资源后第一步是配环境。建议用Python 3.8以上版本，太老的版本可能和scikit-learn新特性不兼容。操作步骤如下：

# 创建虚拟环境（可选但推荐） python -m venv venv source venv/bin/activate # Windows下用 venv\Scripts\activate # 安装依赖 pip install -r requirements.txt # 如果requirements.txt里没锁版本，手动装核心包 pip install pandas numpy scikit-learn matplotlib seaborn joblib

装完后用python -c "import sklearn; print(sklearn.__version__)"验证一下。如果报错，大概率是numpy版本和scikit-learn不匹配，先升级numpy再重装scikit-learn。这一步的坑后面会细说。

3.2 数据加载与预处理

数据加载模块负责把CSV读进来，处理缺失值、异常值，并做基础的类型转换。核心代码如下：

# src/data_loader.py import pandas as pd import numpy as np def load_data(train_path, test_path): """读取训练集和测试集，返回DataFrame""" train = pd.read_csv(train_path) test = pd.read_csv(test_path) # 缺失值处理：数值列用中位数填充，类别列用众数填充 for col in train.columns: if train[col].dtype == 'object': train[col].fillna(train[col].mode()[0], inplace=True) if col in test.columns: test[col].fillna(train[col].mode()[0], inplace=True) else: train[col].fillna(train[col].median(), inplace=True) if col in test.columns: test[col].fillna(train[col].median(), inplace=True) # 异常值处理：客流量不能为负 if 'traffic' in train.columns: train = train[train['traffic'] >= 0] return train, test

这段代码的逻辑很直白：先读数据，再按列类型分别填充缺失值。数值列用中位数而不是均值，是因为客流量数据常有极端值，均值容易被拉偏。类别列用众数填充，保证不引入新的类别。异常值处理只做了客流量非负这一条，实际业务中可能还需要处理超出合理范围的极端值，比如单日客流超过历史均值10倍的记录。

参数说明：train_path和test_path是CSV文件路径，建议在config.yaml里配置，不要硬编码。fillna的inplace=True会直接修改原DataFrame，如果后续还要用原始数据，记得先copy一份。

3.3 特征工程：构造时间与统计特征

特征工程是这类预测任务的关键。原始数据里通常有日期、商家ID、评分、品类等字段，需要把它们转化成模型能吃的数值特征。核心代码如下：

# src/feature_engineer.py import pandas as pd import numpy as np def build_features(df): """从原始数据构造特征矩阵""" df = df.copy() # 时间特征：从日期字段拆出星期、月份、是否周末 if 'date' in df.columns: df['date'] = pd.to_datetime(df['date']) df['dayofweek'] = df['date'].dt.dayofweek df['month'] = df['date'].dt.month df['is_weekend'] = df['dayofweek'].apply(lambda x: 1 if x >= 5 else 0) # 统计特征：每个商家的历史平均客流、客流标准差 if 'merchant_id' in df.columns and 'traffic' in df.columns: merchant_stats = df.groupby('merchant_id')['traffic'].agg(['mean', 'std']).reset_index() merchant_stats.columns = ['merchant_id', 'merchant_traffic_mean', 'merchant_traffic_std'] df = df.merge(merchant_stats, on='merchant_id', how='left') # 类别特征编码：品类用one-hot if 'category' in df.columns: df = pd.get_dummies(df, columns=['category'], prefix='cat') # 去掉不能直接入模的列 drop_cols = ['date', 'merchant_id'] df = df.drop(columns=[c for c in drop_cols if c in df.columns]) return df

逐段说明：时间特征把日期拆成星期几、月份、是否周末，这些对客流量有明显影响——周末通常比工作日高。统计特征用groupby算出每个商家的历史均值和标准差，让模型知道这个商家平时客流大概什么水平、波动大不大。类别特征用one-hot编码，注意get_dummies后列数会膨胀，如果品类很多，可以考虑目标编码或频率编码替代。

参数说明：df是原始DataFrame，函数返回处理后的特征矩阵。merchant_traffic_std在只有一个历史记录时会是NaN，需要在后续步骤里填充0。drop_cols里的列是标识列，不能直接入模，但merchant_id的信息已经通过统计特征保留了。

3.4 模型训练与超参数配置

训练模块负责标准化特征、划分数据集、训练SVM模型并保存。核心代码如下：

# src/train.py import pandas as pd import numpy as np from sklearn.svm import SVR from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.metrics import mean_absolute_error, mean_squared_error import joblib import yaml def train_model(config_path='config.yaml'): """训练SVM回归模型并保存""" with open(config_path, 'r') as f: config = yaml.safe_load(f) # 加载并构造特征 from data_loader import load_data from feature_engineer import build_features train_df, _ = load_data(config['data']['train_path'], config['data']['test_path']) train_df = build_features(train_df) # 分离特征和标签 target = config['data']['target_col'] X = train_df.drop(columns=[target]) y = train_df[target] # 标准化：SVM对特征尺度敏感，必须做 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 划分训练集和验证集 X_train, X_val, y_train, y_val = train_test_split( X_scaled, y, test_size=0.2, random_state=42 ) # 网格搜索找最优超参数 param_grid = { 'C': [0.1, 1, 10], 'gamma': ['scale', 0.01, 0.1], 'epsilon': [0.1, 0.2, 0.5] } svr = SVR(kernel='rbf') grid = GridSearchCV(svr, param_grid, cv=3, scoring='neg_mean_absolute_error', n_jobs=-1) grid.fit(X_train, y_train) # 用最优参数在验证集上评估 best_model = grid.best_estimator_ y_pred = best_model.predict(X_val) mae = mean_absolute_error(y_val, y_pred) rmse = np.sqrt(mean_squared_error(y_val, y_pred)) print(f"Best params: {grid.best_params_}") print(f"Validation MAE: {mae:.4f}, RMSE: {rmse:.4f}") # 保存模型和标准化器 joblib.dump({'model': best_model, 'scaler': scaler}, config['model']['save_path']) return best_model if __name__ == '__main__': train_model()

逻辑说明：SVM对特征尺度非常敏感，不做标准化的话，数值大的特征会主导距离计算，模型直接翻车。StandardScaler把每个特征变成均值0、方差1，是SVM前的标准操作。网格搜索覆盖了C（正则化强度）、gamma（RBF核宽度）、epsilon（容忍误差）三个关键超参数，用3折交叉验证选最优组合。n_jobs=-1表示用满所有CPU核心加速搜索。

参数说明：C越大越容易过拟合，越小越容易欠拟合；gamma越大模型越复杂，越小越平滑；epsilon控制对误差的容忍度，越大支持向量越少。config.yaml里可以改test_size和random_state，换随机种子能看模型稳定性。

3.5 预测与结果输出

训练完模型后，预测模块加载模型和标准化器，对测试集做同样的特征工程，输出预测结果：

# src/predict.py import pandas as pd import joblib import yaml from feature_engineer import build_features from data_loader import load_data def predict(config_path='config.yaml'): with open(config_path, 'r') as f: config = yaml.safe_load(f) # 加载模型和标准化器 saved = joblib.load(config['model']['save_path']) model, scaler = saved['model'], saved['scaler'] # 加载测试集并构造特征 _, test_df = load_data(config['data']['train_path'], config['data']['test_path']) test_features = build_features(test_df) # 对齐特征列：训练时有的列测试集也要有 train_df, _ = load_data(config['data']['train_path'], config['data']['test_path']) train_features = build_features(train_df) target = config['data']['target_col'] feature_cols = [c for c in train_features.columns if c != target] # 缺失列补0，多余列去掉 for col in feature_cols: if col not in test_features.columns: test_features[col] = 0 test_features = test_features[feature_cols] # 标准化并预测 X_test = scaler.transform(test_features) preds = model.predict(X_test) # 输出结果 result = pd.DataFrame({'prediction': preds}) result.to_csv(config['data']['output_path'], index=False) print(f"Predictions saved to {config['data']['output_path']}") return preds if __name__ == '__main__': predict()

关键点在于特征列对齐。训练集和测试集经过one-hot后列数可能不一致，必须保证测试集的特征列和训练集完全一致，缺的补0，多的删掉。这是实际项目里最容易翻车的地方之一。预测结果保存成CSV，方便后续提交或分析。

4. 避坑与排查：跑不通时先看这几条

4.1 依赖版本冲突导致import报错

现象：pip install -r requirements.txt后，import sklearn报ImportError或AttributeError，提示某个模块不存在。

原因：scikit-learn和numpy版本不匹配。新版sklearn可能依赖特定版本的numpy，而系统里已装了旧版。

解决：先pip uninstall numpy scikit-learn -y，再pip install numpy==1.24.3 scikit-learn==1.3.0。如果还不行，用pip check看冲突详情，按提示逐个升级。

4.2 特征列不一致导致预测报错

现象：训练时正常，预测时scaler.transform报ValueError: feature_names mismatch或维度不匹配。

原因：测试集经过one-hot后列数和训练集不同，比如测试集里出现了训练集没有的品类。

解决：在预测代码里强制对齐列，缺的补0，多的删掉。更稳妥的做法是把训练时的feature_cols保存到config.yaml或pkl文件里，预测时直接读。

4.3 客流量为负或异常大

现象：预测结果出现负数，或者数值大得离谱。

原因：SVM回归的输出不受标签范围约束，可能预测出负值；异常大的值通常是特征里有极端离群点没处理。

解决：对预测结果做后处理，preds = np.clip(preds, 0, None)把负值截断为0。异常大值需要在特征工程阶段用IQR或分位数法识别并处理离群点。

4.4 网格搜索太慢跑不完

现象：GridSearchCV跑了半小时还没结束。

原因：参数组合太多，或者数据量太大，SVM在样本多时训练复杂度高。

解决：先缩小参数范围，比如C只试[1, 10]，gamma只试['scale']。或者改用RandomizedSearchCV随机采样，n_iter=20通常能覆盖大部分有效区域。数据量超过几万条时，考虑换LinearSVR或对数据做采样。

4.5 模型保存后加载报错

现象：joblib.load时报ModuleNotFoundError或版本不兼容。

原因：保存模型时的sklearn版本和加载时不一致，或者保存路径里有中文/空格。

解决：保证训练和预测用同一个虚拟环境。保存路径用英文，不要有空格。如果跨版本迁移，尽量用pickle协议4以上，或者重新训练。

5. 二次开发：换模型、加特征、做调优的实操思路

拿到这份代码后，最值得做的改造是把SVM换成更强的模型，同时保留原有的特征工程和评估流程。具体操作：在train.py里把SVR替换成XGBRegressor或RandomForestRegressor，注意树模型不需要标准化，可以跳过StandardScaler。如果换LightGBM，训练速度会快很多，精度通常也更高。我一般会先跑一遍SVM拿到baseline的MAE，再换模型对比，看提升是否值得增加依赖。

加特征方面，可以构造更多时间窗口的统计量，比如过去7天、14天的滑动平均客流，或者商家评分和客流的交互特征。代码上在feature_engineer.py里加一个rolling计算即可：

# 按商家分组后计算7天滑动平均 df = df.sort_values(['merchant_id', 'date']) df['traffic_ma7'] = df.groupby('merchant_id')['traffic'].transform( lambda x: x.rolling(7, min_periods=1).mean() )

调优方面，如果继续用SVM，可以把GridSearchCV换成BayesianOptimization或Optuna，用更少的迭代找到更优参数。评估指标也可以从MAE扩展到MAPE和R2，更全面地看模型表现。

验证改造效果的方法很简单：固定随机种子，跑完训练后在验证集上对比MAE。如果新方案的MAE比baseline低10%以上，就值得保留。记得每次改完都重新保存模型和特征列清单，避免预测时列对不上。

从那以后我每次改完特征工程，都会强制走一遍“训练→保存→加载→预测”的完整链路，确认没有列对齐问题才继续调参。希望帮到你。

本文还有配套的精品资源，点击获取