简介：面向人工智能课程设计、期末大作业与深度学习者，这套纽约出租车流量预测项目提供了基于深度学习的完整可运行方案。代码包含LSTM、GRU、CNN-LSTM、CNN-GRU等多类模型实现，并配有data_loader、configuration、func等模块，注释清楚，适合新手对照阅读。资源整体为zip压缩包，共31个文件，以Python脚本（9个py）、编译缓存（7个pyc）、项目配置xml、训练图像png、数据集npz及docx说明文档为主，压缩包仅1.21MB，下载后简单部署即可使用。目前已有355人学习下载。项目内含volume_train.npz、volume_test.npz数据集和详细数据说明，README与docx文档可帮助快速理解整体结构；训练过程还输出多种模型的指标图，便于对比效果、撰写实验分析与答辩。对于希望获得高分大作业或系统掌握流量预测建模流程的读者，是一份实用且易上手的参考资料。
1. 纽约出租车流量预测：为什么说它是大作业里的“安全牌”
如果你正在为人工智能大作业选题发愁，纽约出租车流量预测是个被低估的选择。它没有图像识别那么卷，也不像自然语言处理那样需要大模型才能出效果，但数据规范、指标清晰、可视化效果好，答辩时能讲的东西非常多。更关键的是，这个任务的baseline并不弱，深度学习模型未必能碾压简单方法，这种“反差感”反而成了作业里最值得写的分析点。本文从数据集处理、特征工程、模型实现到踩坑排错，完整走一遍这个项目的落地路径。
说实话，我见过不少学生在这个题目上翻车，不是因为模型不会写，而是数据预处理和评估方式出了错。流量预测本质是时间序列问题，时间序列和普通回归最大的区别在于：你不能随机打乱数据。这一条就卡掉了相当一部分人。后面会针对这类问题展开讲，跟着步骤走，一周内交出一份能跑、能讲、能答辩的完整项目没有问题。
2. 任务定义与数据集落地：先把“流量”两个字说清楚
2.1 流量预测和订单量预测不是一回事
开始写代码前，先看一个容易被忽略的问题：你预测的“流量”到底是什么。纽约出租车数据集里每行是一次行程记录，包含上下车时间、上下车地点ID、里程、金额等字段。常见的预测目标有两种：一是预测某个区域在某个时间段的订单量，二是预测某个区域间的转移流量。后者更像图论问题，用深度学习做成本高，大作业不划算。前者才是主流，也符合“出租车流量预测”这个题目的直觉。
我一般建议把目标定为：预测纽约每个出租车区域（LocationID）在未来1小时内的订单数。粒度上，时间可以按30分钟或1小时划分，区域直接用数据集里的PULocationID。这样任务就变成了一个多变量时间序列预测问题——输入过去若干小时的订单量序列，输出下一小时的订单量。加上天气、节假日、时间特征，就是一个标准的有监督学习任务。
还有一个细节值得注意：数据集的字段里有tpep_pickup_datetime和tpep_dropoff_datetime。做流量预测只用上车时间，因为订单量的统计口径是“有多少人开始打车”，而不是“有多少人下车”。这个细节看着不起眼，但答辩时老师问起来，你能答清楚就是加分项。
2.2 NYC TLC数据集怎么拿、怎么存、怎么聚合
纽约出租车数据由纽约市出租车和豪华轿车委员会（TLC）公开，按月度发布。原始文件很大，一个月的数据压缩包有一百多兆，解压后是几千万行。学生笔记本直接跑全量数据不现实，所以第一步要做的是裁剪和聚合，先把数据变成能处理的大小。
常见做法是下载某一个月的黄色出租车数据，然后用Pandas分块读取，按PULocationID和小时聚合。
import pandas as pd # 分块读取，避免内存爆炸 chunks = pd.read_csv( "yellow_tripdata_2023-01.csv", usecols=["tpep_pickup_datetime", "PULocationID"], chunksize=500_000 ) frames = [] for chunk in chunks: chunk["tpep_pickup_datetime"] = pd.to_datetime(chunk["tpep_pickup_datetime"]) chunk["pickup_hour"] = chunk["tpep_pickup_datetime"].dt.floor("h") # 按区域+小时统计订单数 agg = chunk.groupby(["pickup_hour", "PULocationID"]).size().reset_index(name="count") frames.append(agg) df = pd.concat(frames, ignore_index=True) df = df.groupby(["pickup_hour", "PULocationID"])["count"].sum().reset_index() df.to_parquet("nyc_taxi_hourly.parquet")这段代码的逻辑是分块读入，每块只保留上车时间和上车区域两列，然后按小时和区域做聚合。最后用Parquet格式保存，后续加载快、占空间小。参数上，chunksize取500000比较稳妥，太大容易撑爆内存，太小则循环变慢。dt.floor("h")是把时间对齐到小时整数，这一步务必要做，否则同一小时内的记录会被拆成不同的时间戳。
聚合之后数据量会从几千万行降到几万行，处理起来很轻松。到这里，原始数据已经变成了“时间 + 区域 + 订单量”的规整结构，可以直接开始特征工程。
2.3 特征工程：时间、滞后、天气，哪些真的有用
流量预测的特征分三层。第一层是时间特征，小时、星期几、是否节假日。出租车流量有明显的日内周期和星期周期，早高峰、晚高峰、周末夜生活时段特征完全不同。这些特征直接用pandas的dt访问器就能提取。第二层是滞后特征，即过去几个小时的订单量。这是时间序列预测里最有效的特征，没有之一。第三层是外部特征，包括天气和节假日，纽约下雨天打车需求明显上升，但天气数据需要外接，属于可选项。
import pandas as pd from pandas.tseries.holiday import USFederalHolidayCalendar df["pickup_hour"] = pd.to_datetime(df["pickup_hour"]) df["hour"] = df["pickup_hour"].dt.hour df["weekday"] = df["pickup_hour"].dt.weekday df["is_weekend"] = df["weekday"].isin([5, 6]).astype(int) # 节假日标记 cal = USFederalHolidayCalendar() holidays = cal.holidays(start="2023-01-01", end="2023-01-31") df["is_holiday"] = df["pickup_hour"].dt.normalize().isin(holidays).astype(int) # 滞后特征：过去3小时同一区域的订单量 for lag in [1, 2, 3, 24]: df[f"lag_{lag}"] = df.groupby("PULocationID")["count"].shift(lag) # 去掉有缺失滞后的行 df = df.dropna().reset_index(drop=True)滞后特征用shift实现，注意必须按PULocationID分组，否则不同区域的滞后值会串位。lag_24是为了捕捉“昨天的同一时刻”这种跨天规律。shift之后前几行会产生NaN，直接dropna即可。天气特征我通常放到模型对比阶段再决定要不要加，因为大作业的核心在深度学习模型的实现，外部特征越多，训练时间和调试成本越高。
3. 模型选型与最小实现：LSTM不是唯一答案，但是最稳的答案
3.1 baseline先跑起来：历史平均、线性回归、XGBoost
很多人一上来就写LSTM，这是大作业里最常见的错法。没有baseline，你无法证明深度学习模型到底有没有用。更现实的问题是，如果LSTM的效果连线性回归都比不过，论文里“模型有效”这个结论就站不住脚。所以先跑几个简单的baseline，既是学术规范，也是给自己留后路。
历史平均法是最简单的：预测值等于过去同一时段的历史均值。比如预测周三上午9点的流量，就用过去几个周三上午9点的平均值。线性回归直接拿上一节构造的特征矩阵做训练。XGBoost是树模型的代表，对表格特征非常友好，能在几分钟内给出强baseline。
from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_absolute_error import numpy as np # 假设df已经包含特征和count列 feature_cols = ["hour", "weekday", "is_weekend", "is_holiday", "lag_1", "lag_2", "lag_3", "lag_24"] # 按时间排序后切分，前80%训练，后20%测试 df = df.sort_values("pickup_hour").reset_index(drop=True) split_idx = int(len(df) * 0.8) train, test = df.iloc[:split_idx], df.iloc[split_idx:] lr = LinearRegression() lr.fit(train[feature_cols], train["count"]) pred = lr.predict(test[feature_cols]) mae = mean_absolute_error(test["count"], pred) print(f"LinearRegression MAE: {mae:.2f}")这段代码最需要注意的是切分方式。这里用了按时间顺序切分，没有随机打乱。如果有读者习惯性地用train_test_split(random_state=42)，就会造成时间泄漏，测试集里混着训练集之后的数据，评估结果虚高。baseline的MAE建议记录下来，后面深度学习模型的每一项改进，都要和这个数字对比才有说服力。
3.2 LSTM最小实现：Keras版本，50行内跑通
LSTM是这个项目的主力模型。选择LSTM而不是GRU或Transformer的理由很简单：LSTM对中等长度的序列预测足够用，Keras封装完善，调参路径清晰，答辩时能讲清楚的东西也多。GRU可以当作对比实验，Transformer在这种小规模时间序列上优势不明显，而且训练不稳定，不建议大作业主模型用。
处理LSTM输入前，需要把数据整理成三维张量，形状是(samples, timesteps, features)。timesteps就是序列长度，表示用过去多少个时间步预测下一个时间步。这里用24小时作为回看窗口，特征包括时间特征和订单量。
import numpy as np from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout from tensorflow.keras.callbacks import EarlyStopping def build_sequences(features, target, n_steps=24): X, y = [], [] for i in range(n_steps, len(features)): X.append(features[i - n_steps:i]) y.append(target[i]) return np.array(X), np.array(y) # 特征列需要归一化，这里先用训练集的统计量 from sklearn.preprocessing import StandardScaler scaler = StandardScaler() train_feat = scaler.fit_transform(train[feature_cols]) test_feat = scaler.transform(test[feature_cols]) X_train, y_train = build_sequences(train_feat, train["count"].values) X_test, y_test = build_sequences(test_feat, test["count"].values) model = Sequential([ LSTM(64, return_sequences=True, input_shape=(X_train.shape[1], X_train.shape[2])), Dropout(0.2), LSTM(32, return_sequences=False), Dropout(0.2), Dense(16, activation="relu"), Dense(1, activation="linear") ]) model.compile(optimizer="adam", loss="mse", metrics=["mae"]) early_stop = EarlyStopping(monitor="val_loss", patience=5, restore_best_weights=True) history = model.fit( X_train, y_train, validation_split=0.1, epochs=50, batch_size=64, callbacks=[early_stop], verbose=1 )代码里的几个参数值得说明。n_steps取24，因为流量有很强的日周期，回看24小时能覆盖完整的周期模式。第一层LSTM设置return_sequences=True是为了把完整的隐藏状态序列传给第二层LSTM，如果只有单层LSTM，return_sequences应该设为False。Dropout推荐放在每个LSTM层后面，比例0.2起步，序列数据过拟合风险高，dropout可以适当加大到0.3。EarlyStopping的patience设5，即验证集损失连续5轮不下降就停止，restore_best_weights=True保证拿回验证损失最小的那套权重。
这里需要特别强调一下归一化。scaler是在训练集上fit的，然后直接transform测试集。绝不能对整个数据集做fit，那是数据泄漏，会让测试集信息提前渗入模型。很多学生在这个地方栽跟头，后面避坑章节会详细展开。
3.3 序列窗口、归一化和数据泄漏：三个必须提前定死的事
序列窗口长度、归一化方式、数据切分方法，这三个决策必须在写模型之前定死，否则后面全是返工。
先说序列窗口。窗口太短，模型看不到周期规律；窗口太长，LSTM的长期依赖会退化，训练时间也变长。24是多数场景下的经验值。如果你的数据是30分钟粒度，窗口可以取48。判断窗口是否合理的方法是：看滞后特征的重要性，如果lag_24在XGBoost里特征重要性很高，说明24步窗口大概率够用。
归一化方式推荐StandardScaler，即减去均值除以标准差。也有人用MinMaxScaler把数据压到0到1之间，配合tanh激活函数使用。两种都能用，但注意：归一化只对输入特征做，预测目标count如果是原始值，输出层的激活函数必须配合，线性激活配StandardScaler是安全的。如果对目标值也做了归一化，预测结果要反归一化才能计算指标，这一步经常出错。
数据切分是时间序列项目里最反直觉的地方。普通机器学习用train_test_split随机切分，时间序列必须按时间顺序切分。测试集必须是训练集之后发生的数据，否则你的模型“看到了未来”，评估结果毫无意义。
4. 训练与评估：不随机切分数据，其他都是白搭
4.1 时间序列切分：TimeSeriesSplit和手动切分的写法
时间序列交叉验证和普通K折交叉验证完全不同。K折随机打乱数据，时间序列必须保持顺序。sklearn提供了TimeSeriesSplit，它按时间顺序递增地划分训练集和验证集，每次验证集都在时间上晚于训练集。
from sklearn.model_selection import TimeSeriesSplit tscv = TimeSeriesSplit(n_splits=5) for fold, (train_idx, val_idx) in enumerate(tscv.split(df)): train_fold = df.iloc[train_idx] val_fold = df.iloc[val_idx] print(f"Fold {fold}: train {train_idx.min()}~{train_idx.max()}, val {val_idx.min()}~{val_idx.max()}")手动切分的写法更直观，也更好向答辩老师解释。先按pickup_hour排序，然后指定一个比例，比如前80%训练、后20%测试，代码在baseline部分已经写过。TimeSeriesSplit适合做模型选择和超参数调优，手动切分适合最终的评估。两者的核心逻辑一致：训练集时间必须早于测试集时间。
有一个常见的反模式：按区域切分。有人会想，用曼哈顿中城的流量做训练，测试皇后区的流量，这样可以检验模型的泛化能力。这种思路本身没问题，但它改变了任务定义——变成了空间泛化问题，而不是时间预测问题。大作业里不建议混用两种逻辑，先把时间预测做扎实，有余力再做区域级别的泛化分析。
4.2 损失函数与评估指标：MAE、RMSE、MAPE怎么选
LSTM训练用的损失函数是MSE（均方误差），它惩罚大误差的效果显著，能让模型更关注流量峰值时段的准确性。但评估指标不能用MSE，因为MSE的量纲是平方，不好向人解释。常用的评估指标是MAE、RMSE和MAPE。
MAE是平均绝对误差，单位就是“订单数”，最直观。RMSE是均方根误差，对大误差更敏感，如果模型在高峰时段的预测经常偏得离谱，RMSE会很大。MAPE是百分比误差，但有两个问题：一是当真实值为0时会除以0，二是MAPE对低谷时段的误差惩罚很大，纽约凌晨很多区域的订单量就是0，MAPE会因此虚高。所以推荐以MAE为主指标，RMSE作为辅助，MAPE只在排除零值后再计算。
from sklearn.metrics import mean_absolute_error, mean_squared_error # 反归一化预测值前，先检查是否对目标做了缩放 # 如果目标未缩放，可以直接计算指标 mae = mean_absolute_error(y_test, pred) rmse = np.sqrt(mean_squared_error(y_test, pred)) # 排除真实值为0的样本后再算MAPE mask = y_test > 0 mape = np.mean(np.abs((y_test[mask] - pred[mask]) / y_test[mask])) * 100 print(f"MAE: {mae:.2f}, RMSE: {rmse:.2f}, MAPE: {mape:.2f}%")计算MAPE时先做mask过滤。如果不过滤，2023年1月某日凌晨3点，某个区域订单量为0，模型预测了个0.3，这一项的MAPE直接是无限大，整个指标就废了。这个问题在后面避坑章节还会再提，因为很多学生的报告里MAPE大得离谱，原因就在这。
评估时还有一个细节：应该按“小时+区域”聚合后评估，还是按独立样本评估。前者更符合业务直觉，能看出一天里哪个时段预测误差最大，后者更简单直接。大作业建议两种都算，做一张分时段的MAE曲线图，答辩时非常好用。
4.3 训练过程调参：早停、学习率、batch size的默认值
深度学习训练调参是玄学，但有几个默认值可以让你少走弯路。优化器用Adam，学习率默认0.001，batch size取64或32，epochs设50加上EarlyStopping。这套组合在大多数表格类和序列类问题上都能稳定收敛。
from tensorflow.keras.optimizers import Adam from tensorflow.keras.callbacks import ReduceLROnPlateau model.compile(optimizer=Adam(learning_rate=0.001), loss="mse", metrics=["mae"]) lr_scheduler = ReduceLROnPlateau( monitor="val_loss", factor=0.5, patience=3, min_lr=1e-5 ) history = model.fit( X_train, y_train, validation_split=0.1, epochs=50, batch_size=64, callbacks=[early_stop, lr_scheduler], verbose=1 )ReduceLROnPlateau在验证集损失连续3轮不降时，把学习率减半，最低降到1e-5。这个回调配合EarlyStopping使用，可以让模型跳出局部极小点，也可以防止学习率过大导致的震荡。如果训练loss在下降但val_loss抖动厉害，说明学习率偏高或者数据里有异常值，可以先调低学习率再试。
batch size的选择和内存以及收敛速度有关。64在大多数电脑上跑得动，如果显存或内存吃紧可以降到32。注意batch size不是越大越好，过大的batch size会让模型收敛到尖锐极小值，泛化能力反而变差。这些内容不用写进代码，但答辩时老师问到怎么调参，你能说出这些默认值的理由，就是个加分项。
5. 纽约出租车流量预测避坑清单：5个翻车现场与解法
5.1 归一化时用到了全量数据的统计量
现象：模型在训练集上MAE很低，测试集MAE也好看，但把预测结果画出来发现曲线整体偏移，或者指标的方差很大。换成新的时间段数据后效果暴跌。
原因：对全量数据调用scaler.fit_transform，测试集的均值和标准差混进了scaler的参数里，属于数据泄漏。虽然测试集的loss没有直接参与训练，但归一化参数已经“看过”测试集了，评估结果虚高。
解决：先切分数据，再对训练集fit，对测试集只transform。这是时间序列项目里最基础也最容易犯的错。
# 错误做法 scaler = StandardScaler() all_scaled = scaler.fit_transform(df[feature_cols]) # 正确做法 scaler = StandardScaler() train_scaled = scaler.fit_transform(train[feature_cols]) test_scaled = scaler.transform(test[feature_cols])5.2 随机切分导致时间泄漏
现象：模型的测试MAE低得惊人，甚至比baseline还低一大截，但画预测曲线时发现预测值“提前”跟随了真实值的走势。
原因：用了train_test_split且没有设置shuffle=False，导致测试集里混入了时间上早于训练集的数据。模型在训练时见过这些样本，测试时相当于开卷考试。
解决：时间序列必须按时间顺序切分，直接排序后用索引切分。如果要用交叉验证，选TimeSeriesSplit而不是K-fold。
5.3 MAPE在低谷时段爆炸
现象：整体MAE说得过去，但MAPE高达几百甚至上千，报告里根本没法写。
原因：纽约凌晨时段很多区域的订单量为0，MAPE的公式里真实值做分母，0除以任何数都是无穷大。少量零值样本就把平均MAPE拉高了。
解决：计算MAPE前过滤掉真实值为0的样本，或者改用sMAPE（对称平均绝对百分比误差）。报告中明确写出过滤条件，避免被质疑。
5.4 模型预测结果总是接近同一个值
现象：不同区域、不同时段的预测值几乎不变，画出来是一条平直的线。
原因：目标变量count的分布极度右偏，少数高峰时段的值很大，多数时间接近0。模型学习了均值回归，预测所有样本都归到中间值附近。这是回归任务处理偏态分布的典型问题。
解决：对目标值做对数变换，即预测log(count + 1)，评估时再指数还原。也可以考虑把任务改成分类，比如预测流量等级，但大作业不建议改任务。对数变换最简单，效果也最直接。
df["count_log"] = np.log1p(df["count"]) # 模型预测的是log值，评估时还原 pred_count = np.expm1(pred_log)5.5 长序列上LSTM退化
现象：把回看窗口从24加大到48或72，模型效果没有提升，反而变差，训练时间还翻倍。
原因：LSTM虽然有门控机制，但超过一定步数后梯度传播仍然会有衰减。尤其在数据量不大的情况下，48步的输入里有大量冗余信息，模型学不到有效模式。
解决：回看窗口不是越大越好。24步已经覆盖了日周期。如果确实需要更长的依赖，可以考虑把序列做差分或引入注意力机制，但大作业不必追求那么复杂。在报告里诚实写出“增加回看窗口未能带来显著提升”反而是个很好的分析点。
6. 把作业做出含金量：多步预测、空间可视化和答辩要点
6.1 从单步到多步：三种写法和各自的代价
前面实现的都是单步预测，即用过去24小时预测下一小时。但大作业如果想冲高分，多步预测是很好的扩展方向。多步预测有三种常见写法。
第一种是递归多步预测，把模型的输出当作下一轮的输入，逐步迭代预测未来12个点。实现简单，但误差会随着步数累积，预测得越远越不准。第二种是直接多步预测，把模型输出层改成12个神经元，一次预测12个小时。实现也不难，但误差不再是单调累积的，不过输出神经元之间没有时序关系约束，偶尔会出现预测曲线不连贯的问题。第三种是序列到序列模型，用Encoder-Decoder结构，训练和推理都比较复杂，数据量小的时候容易过拟合。
大作业推荐第二种直接多步预测，实现成本低，答辩时有可讲的东西。修改方式很简单，把Dense(1)改成Dense(12)，然后把训练集的目标值从单列改成未来12小时窗口的矩阵。
def build_multi_step_sequences(features, target, n_steps_in=24, n_steps_out=12): X, y = [], [] for i in range(n_steps_in, len(features) - n_steps_out + 1): X.append(features[i - n_steps_in:i]) y.append(target[i:i + n_steps_out]) return np.array(X), np.array(y) # target传入的是未来12小时的值矩阵 X_train, y_train = build_multi_step_sequences(train_scaled, train["count"].values) # 模型最后一层改成 Dense(n_steps_out)这样训练出来的模型能一次性输出未来12小时的流量曲线，画图时直接对比预测曲线和真实曲线，视觉效果很好。
6.2 把预测结果画到纽约地图上
时间序列的折线图只能展示模型在时间维度上的表现，空间维度上的预测效果需要用地图展示。这一步对答辩的冲击力很大，而且实现成本不高。用GeoPandas加载纽约出租车区域的地理边界数据，把预测误差按区域着色，就能直观反映模型在曼哈顿中城和远郊区的预测能力差异。
import geopandas as gpd import matplotlib.pyplot as plt # taxi_zone_shp是出租车区域的地理边界文件，网上可以找到公开数据 zones = gpd.read_file("taxi_zones/taxi_zones.shp") error_by_zone = test.groupby("PULocationID").apply( lambda x: mean_absolute_error(x["count"], x["prediction"]) ).reset_index(name="mae") merged = zones.merge(error_by_zone, left_on="LocationID", right_on="PULocationID") merged.plot(column="mae", cmap="OrRd", legend=True, figsize=(10, 8)) plt.title("MAE by Taxi Zone") plt.axis("off") plt.savefig("taxi_zone_mae.png", dpi=150)注意地理边界文件和数据集的LocationID字段要能对上。不同年份的数据集LocationID范围有差异，合并之前先打印两边的唯一值集合做比对。
6.3 答辩怎么讲：一句话讲清模型、一张图讲清结果
答辩时间通常5到10分钟，核心要讲清楚三件事：任务是什么、模型怎么做、结果怎么样，外加一个baseline对比。baseline对比那页PPT最重要，因为它是证明深度学习模型有效性的关键证据。如果LSTM的MAE比历史平均法还高，就如实说明，并分析原因——很可能是因为数据量不足或者特征没有做到位。
我个人的习惯是在PPT里放三张图：第一张是原始流量曲线按星期分组的分布图，说明数据的周期性；第二张是LSTM预测曲线和真实曲线的对比，用阴影标出±一个标准差的预测区间；第三张是按小时划分的MAE柱状图，说明模型在哪些时段表现好、哪些时段差。这三张图覆盖了数据理解、模型效果和误差分析，比贴一堆训练指标更打动人。
多步预测和空间可视化属于锦上添花的部分，时间充裕就加，时间紧就把baseline和误差分析做扎实。我见过不少作业在基础部分没做扎实的情况下盲目堆模型，最后答辩被老师一个问题问倒。记住一个原则：用最简单的模型把数据处理流程做对，比用最复杂的模型讲不清楚过程要强得多。
最后说一个血泪经验：别为了追求好看的指标去调随机种子，也别在报告里隐藏失败的实验。把“我试了哪些方法、哪些有效、哪些无效、为什么无效”写清楚，才是人工智能大作业应该有的样子。这个项目的完整落地路径就是这些，每一步都可以直接照做，代码、数据和说明文档放进你的项目包里，就是一份能站住脚的作业。希望帮到你。
本文还有配套的精品资源，点击获取
