LSTM+Prophet双模型天气预测与可视化实战

简介：本资源是一份面向高校计算机与数据科学专业学生的高分课程设计项目，聚焦Python实现的天气预测建模与多维度可视化分析，适用于课程设计、期末大作业及数据分析入门实践。压缩包共24个文件，包含4个核心Python脚本（main.py、GetData.py、Model.pkl等）、4个CSV格式气象数据集（train/test/valid/今日数据）、12张结果可视化图表（JPG格式），以及说明文档（readme.md）、网页抓取源（天气网.html）和Git配置文件，整体仅1.43MB，轻量易部署。已有652人学习下载，项目经导师指导获评97分，代码结构清晰、注释完整，含数据预处理、LSTM/XGBoost模型训练、预测结果评估与交互式图表生成全流程，配套pkl模型文件可直接加载推理，无需调试即可运行出图，显著降低初学者实践门槛。

1. 这不是“爬个网页+画个折线图”的天气作业：一个真跑通LSTM+Prophet双模型、带完整数据清洗链路、97分课程设计的Python天气预测与可视化项目

你肯定见过那种“用requests抓天气网→存CSV→matplotlib画个温度曲线”的课程设计——它能交差，但一问“为什么选这个模型”就卡壳，一改数据格式就报错，一换城市就崩。而这份资源是实打实跑通了LSTM时序预测 + Prophet趋势分解双模型对比的完整闭环：从原始china_today.csv（含2023年全国342个站点逐小时温压湿风数据）出发，经ProcessData.py完成缺失值插补、滑动窗口构造、多变量归一化，再由GetModel.py训练并持久化为Model.pkl，最后在main.py中完成预测结果比对、误差热力图生成、交互式HTML报告导出。它不是玩具，是导师签字确认97分的课程设计实体——所有脚本已适配Python 3.8~3.11，无需改路径、不依赖私有API、不调用任何在线服务，解压即运行。适合需要交付硬核成果的大三/大四学生，也适合想快速复现“时间序列+地理可视化”组合技的转行者。

2. 模型选型与数据预处理：为什么必须用LSTM+Prophet双模型，以及ProcessData.py里藏着的四个关键清洗逻辑

2.1 为什么不用单一模型？LSTM与Prophet的互补性边界在哪

单纯用LSTM容易过拟合短期噪声，尤其当某地突遇寒潮导致连续24小时温度骤降15℃时，LSTM会把这种极端事件当作新规律学习；而Prophet对节假日、季节性突变敏感，却对多变量耦合（如湿度+气压+风速共同影响体感温度）建模乏力。本项目采用双模型输出加权融合策略：LSTM主攻小时级波动（权重0.6），Prophet主控日级趋势（权重0.4），最终预测误差MAE降低22.7%（见readme.md第3节验证表）。这不是炫技——当你打开date_train.csv会发现，其中包含13个气象要素字段（温度、湿度、气压、风速、风向、能见度、云量、降水概率、紫外线强度、PM2.5、PM10、NO2、SO2），而Prophet原生只支持单时间序列，必须靠ProcessData.py先做特征工程降维。

2.2ProcessData.py核心清洗逻辑：从china_today.csv到date_train.csv的四步不可跳过操作

该脚本承担了真实业务中80%的数据脏活。它不是简单删空行，而是按气象数据特性定制规则：

# ProcessData.py 关键片段（已简化注释） import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler def clean_weather_data(raw_path: str, output_path: str): # 步骤1：时空对齐——强制统一为UTC+8时区，并补全缺失时间戳 df = pd.read_csv(raw_path, parse_dates=['time'], date_parser=lambda x: pd.to_datetime(x, format='%Y-%m-%d %H:%M:%S')) df = df.set_index('time').asfreq('H') # 强制按小时重采样，缺失处填NaN # 步骤2：气象专用插补——温度/湿度用前后24小时均值，气压用线性插值，风向用众数（避免角度计算错误） for col in ['temperature', 'humidity']: df[col] = df[col].interpolate(method='time', limit=24) # 仅允许插补24小时内断点 df['pressure'] = df['pressure'].interpolate(method='linear') df['wind_direction'] = df['wind_direction'].fillna(df['wind_direction'].mode()[0]) # 步骤3：异常值过滤——用箱线图+物理阈值双校验（如温度<-50℃或>60℃直接剔除） temp_outliers = (df['temperature'] < -50) | (df['temperature'] > 60) df = df[~temp_outliers].copy() # 步骤4：构造LSTM输入张量——滑动窗口长度设为72（即3天历史数据），预测未来24小时 window_size = 72 X, y = [], [] for i in range(window_size, len(df) - 24): X.append(df.iloc[i-window_size:i][['temperature','humidity','pressure','wind_speed']].values) y.append(df.iloc[i:i+24]['temperature'].values) # 只预测温度，因它是核心指标 X, y = np.array(X), np.array(y) # 最后标准化：注意！必须用训练集统计量，测试集不能单独fit scaler = StandardScaler() X_flat = X.reshape(-1, X.shape[-1]) X_scaled = scaler.fit_transform(X_flat).reshape(X.shape) np.savez(output_path, X=X_scaled, y=y, scaler=scaler) # 保存scaler供预测时复用 return X_scaled, y if __name__ == "__main__": clean_weather_data("china_today.csv", "processed_data.npz")

提示：scaler对象必须和模型一起保存（代码末尾已实现），否则main.py加载Model.pkl后做预测时，输入数据未标准化会导致LSTM输出全乱码。这是新手最常翻车的点——别信网上“标准化可有可无”的玄学说法。

2.3date_train.csv与date_valid.csv的划分逻辑：为什么不用随机切分？

气象数据具有强时间依赖性，随机切分会让模型看到“未来数据”，导致虚假高分。本项目采用严格时间顺序切分：

• date_train.csv：2023-01-01 00:00 至 2023-10-31 23:00（共7300条记录）
• date_valid.csv：2023-11-01 00:00 至 2023-11-30 23:00（共720条记录）
• date_test.csv：2023-12-01 00:00 至 2023-12-15 23:00（共360条记录）
  验证集和测试集完全独立于训练过程，且覆盖初冬典型天气模式（如华北雾霾、华南湿冷），确保模型鲁棒性。你在readme.md第2节能看到各集合的起止时间戳，可直接用pandas.to_datetime()校验。

3. 模型训练与持久化：GetModel.py如何同时训练LSTM与Prophet，并解决Prophet无法处理多变量的硬伤

3.1GetModel.py架构设计：双模型并行训练+统一接口封装

该脚本不是简单调用两个库，而是构建了WeatherPredictor类，将LSTM与Prophet封装成同一套API：

# GetModel.py 核心结构 import torch import torch.nn as nn from prophet import Prophet import joblib import numpy as np class WeatherPredictor: def __init__(self, model_type: str = 'lstm'): # 'lstm' or 'prophet' self.model_type = model_type self.model = None self.scaler = None def fit(self, X_train: np.ndarray, y_train: np.ndarray, **kwargs): if self.model_type == 'lstm': self._fit_lstm(X_train, y_train, **kwargs) else: # prophet self._fit_prophet(y_train, **kwargs) def predict(self, X_test: np.ndarray = None, periods: int = 24) -> np.ndarray: if self.model_type == 'lstm': return self._predict_lstm(X_test) else: return self._predict_prophet(periods) # 实际训练入口 if __name__ == "__main__": # 加载预处理数据 data = np.load("processed_data.npz") X_train, y_train = data['X'], data['y'] # 训练LSTM lstm_pred = WeatherPredictor('lstm') lstm_pred.fit(X_train, y_train, epochs=50, batch_size=32) joblib.dump(lstm_pred, "LSTM_model.pkl") # 注意：此处保存的是封装类，非原始torch模型 # 训练Prophet——关键：只用温度时间序列，其他变量丢弃 prophet_pred = WeatherPredictor('prophet') # 构造Prophet要求的df：ds列（时间）、y列（温度） train_df = pd.DataFrame({ 'ds': pd.date_range(start='2023-01-01', periods=len(y_train), freq='H'), 'y': y_train.mean(axis=1) # 取每段24小时的均值作为日尺度标签 }) prophet_pred.fit(train_df) joblib.dump(prophet_pred, "Prophet_model.pkl")

注意：Prophet训练时必须降维到单变量，所以train_df中y列是y_train.mean(axis=1)——即每72小时窗口对应一个日均温度值。这牺牲了小时级精度，但换来趋势稳定性，正是双模型融合的价值所在。

3.2 LSTM网络结构细节：为什么用双向LSTM+Attention，而不是基础RNN

_fit_lstm()内部构建的网络如下（GetModel.py第87行起）：

class LSTMModel(nn.Module): def __init__(self, input_size=4, hidden_size=64, num_layers=2, output_size=24): super().__init__() self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True, bidirectional=True) # 双向LSTM self.attention = nn.MultiheadAttention(embed_dim=hidden_size*2, num_heads=4) # Attention层 self.fc = nn.Linear(hidden_size*2, output_size) # 输出24小时预测 def forward(self, x): lstm_out, _ = self.lstm(x) # [batch, seq_len, hidden*2] # Attention机制：让模型聚焦于关键时间步（如寒潮前6小时） attn_out, _ = self.attention(lstm_out.permute(1,0,2), lstm_out.permute(1,0,2), lstm_out.permute(1,0,2)) out = self.fc(attn_out[-1]) # 取最后一个时间步的Attention输出 return out

参数说明：input_size=4对应温度/湿度/气压/风速四维输入；hidden_size=64经网格搜索确定，在显存与精度间平衡；bidirectional=True让模型同时感知过去与未来模式（虽训练时无未来数据，但双向结构提升特征提取能力）；MultiheadAttention则解决长序列中关键信息衰减问题——比如预测“明早霜冻”，模型需重点关注今晚22点至凌晨2点的湿度突增。

3.3 模型持久化陷阱：为什么用joblib而非pickle或torch.save？

Model.pkl实际是joblib.dump()生成的文件，原因有三：

1. joblib对NumPy数组序列化效率比pickle高3倍（本项目X_train达(6000,72,4)大小）；
2. joblib能正确保存StandardScaler对象的mean_和scale_属性，而pickle有时会丢失；
3. torch.save只保存模型参数，不保存WeatherPredictor类的fit/predict方法逻辑，导致加载后无法直接调用。
   你在main.py第42行能看到joblib.load("Model.pkl")，这就是为什么解压后不装PyTorch也能运行预测——因为Model.pkl里存的是训练好的权重+完整推理逻辑。

4. 预测执行与可视化：main.py如何驱动双模型、生成天气网.html及七张核心图表

4.1main.py执行流程：从数据加载到HTML报告生成的六步链路

该脚本是整个项目的指挥中心，执行顺序严格不可逆：

1. 加载预处理数据：读取processed_data.npz，获取X_valid,y_valid,scaler；
2. 加载双模型：joblib.load("LSTM_model.pkl")和joblib.load("Prophet_model.pkl")；
3. 双模型预测：对X_valid分别调用predict()，得到lstm_pred（形状(720,24)）和prophet_pred（形状(720,)，需扩展为(720,24)）；
4. 融合预测：final_pred = 0.6 * lstm_pred + 0.4 * prophet_pred_expanded；
5. 误差计算：对每个时间点计算MAE/MSE，生成error_metrics.csv；
6. 可视化输出：调用plot_results()生成7张图，并写入天气网.html。

4.2 七张核心图表的技术实现与业务价值

plot_results()函数生成以下图表（对应wps*.jpg截图）：

提示：所有图表均使用plt.savefig(..., dpi=300, bbox_inches='tight')保证印刷级清晰度，wps23.jpg等截图即由此生成。你可在main.py第156行修改savefig()参数调整分辨率。

4.3天气网.html的生成逻辑：为什么不用Flask而用纯静态HTML？

该HTML文件由generate_html_report()函数生成，核心是嵌入plotly交互图表：

def generate_html_report(): # 读取各图表为base64编码 with open("temp_trend.png", "rb") as f: temp_img = base64.b64encode(f.read()).decode() with open("error_heatmap.png", "rb") as f: err_img = base64.b64encode(f.read()).decode() # 生成HTML骨架，内联CSS避免外部依赖 html_content = f""" <!DOCTYPE html> <html> <head><title>天气预测分析报告</title> <style>body{{font-family: "Segoe UI"; margin:40px;}}</style> </head> <body> <h1>基于Python的天气预测与可视化报告</h1> <img src="data:image/png;base64,{temp_img}" width="100%"> <img src="data:image/png;base64,{err_img}" width="100%"> <!-- 其他图表... --> </body> </html> """ with open("天气网.html", "w", encoding="utf-8") as f: f.write(html_content)

注意：此方案规避了Flask部署复杂度，双击即可在浏览器打开，且所有资源内联，不依赖网络或本地服务器。wps19.jpg截图即显示该HTML在Chrome中的渲染效果。

5. 避坑指南：运行main.py时最常见的五个报错现象、原因与血泪解决方案

5.1 现象：ModuleNotFoundError: No module named 'torch'

原因：项目依赖PyTorch，但requirements.txt未明确指定版本，导致pip install -r requirements.txt安装失败。
解决：

• 手动安装匹配CUDA版本的PyTorch：访问https://pytorch.org/get-started/locally/，选择Stable→Windows/macOS/Linux→Pip→Python→CUDA（若无NVIDIA显卡选CPU），复制命令执行。
• 或直接运行：pip3 install torch==2.0.1+cpu torchvision==0.15.2+cpu torchaudio==2.0.2+cpu -f https://download.pytorch.org/whl/torch_stable.html（CPU版）。

血泪经验：别用conda install pytorch，它常安装旧版导致LSTM层报错。

5.2 现象：ValueError: Input contains NaN, infinity or a value too large for dtype('float64')

原因：ProcessData.py未成功运行，或china_today.csv被手动编辑破坏了时间格式。
解决：

• 删除processed_data.npz，重新运行python ProcessData.py；
• 用文本编辑器打开china_today.csv，检查首行是否为time,temperature,humidity,...，且time列格式为2023-01-01 00:00:00（无中文冒号、无空格）；
• 在ProcessData.py第12行parse_dates=['time']后添加date_parser参数，强制解析：date_parser=lambda x: pd.to_datetime(x, errors='coerce')。

5.3 现象：KeyError: 'ds'或KeyError: 'y'

原因：Prophet要求输入DataFrame必须含ds（datetime）和y（float）列，但GetModel.py中构造train_df时y列数据类型为object。
解决：

• 在GetModel.py构造train_df后添加类型转换：train_df['y'] = train_df['y'].astype(float)；
• 同时检查y_train.mean(axis=1)是否有NaN：print(np.isnan(y_train.mean(axis=1)).sum())，若有则需回溯ProcessData.py的插补逻辑。

5.4 现象：OSError: Unable to open file (file signature not found)

原因：np.load("processed_data.npz")尝试加载损坏的.npz文件，常见于磁盘空间不足导致写入中断。
解决：

• 删除processed_data.npz；
• 清理磁盘空间（至少预留2GB）；
• 重新运行ProcessData.py，并在其末尾添加校验：

  # ProcessData.py 末尾追加 try: test_load = np.load("processed_data.npz") print(f"数据校验通过：X shape {test_load['X'].shape}, y shape {test_load['y'].shape}") except Exception as e: print(f"数据保存失败：{e}") os.remove("processed_data.npz")

5.5 现象：AttributeError: 'WeatherPredictor' object has no attribute 'scaler'

原因：Model.pkl是旧版保存的，未包含scaler属性（早期版本漏写了self.scaler = scaler）。
解决：

• 删除Model.pkl；
• 修改GetModel.py中WeatherPredictor.__init__()，添加self.scaler = None；
• 在fit()方法末尾添加self.scaler = scaler（LSTM分支）或self.scaler = None（Prophet分支）；
• 重新运行python GetModel.py生成新模型。

后悔药：从readme.md第5节复制最新版GetModel.py覆盖，避免手改出错。

6. 进阶技巧：如何用GetData.py扩展数据源，以及三步定制化你的城市预测报告

6.1GetData.py的扩展原理：从“爬取天气网”到“接入任意气象API”

该脚本当前实现get_weather_from_wangyi()（网易天气），但其设计为插件式架构：

# GetData.py 结构示意 def get_weather_from_wangyi(city: str) -> pd.DataFrame: # 当前实现：解析网易天气HTML pass def get_weather_from_openweathermap(city: str, api_key: str) -> pd.DataFrame: # 新增：调用OpenWeatherMap API url = f"http://api.openweathermap.org/data/2.5/forecast?q={city}&appid={api_key}&units=metric" response = requests.get(url) data = response.json() # 解析JSON，构造DataFrame... return df # 统一入口：根据配置选择数据源 def fetch_weather_data(city: str, source: str = "wangyi", **kwargs): if source == "wangyi": return get_weather_from_wangyi(city) elif source == "openweathermap": return get_weather_from_openweathermap(city, kwargs.get("api_key")) else: raise ValueError(f"Unsupported source: {source}") # 使用示例 if __name__ == "__main__": # 获取北京数据（网易源） beijing_data = fetch_weather_data("北京") # 获取伦敦数据（OpenWeatherMap源） london_data = fetch_weather_data("London", "openweathermap", api_key="your_api_key")

操作步骤：

1. 注册OpenWeatherMap（https://home.openweathermap.org/users/sign_up），获免费API Key；
2. 将get_weather_from_openweathermap()函数粘贴到GetData.py末尾；
3. 修改main.py第22行：raw_data = GetData.fetch_weather_data("上海", "openweathermap", api_key="xxx")；
4. 运行python main.py，自动触发新数据源采集。

6.2 定制化城市报告：三步生成专属上海天气网.html

只需修改三处，即可将全国报告变为单城市深度分析：

验证技巧：运行后检查上海天气网.html中temp_trend.png的X轴时间范围是否为2023-11-01至2023-11-30，且Y轴温度值在5~20℃区间（符合上海11月气候），即表示定制成功。

6.3 误差热力图的业务解读：如何从error_heatmap.png发现模型改进方向

这张图横轴是预测小时（1-24），纵轴是验证日期（11月1日-30日），颜色越深代表MAE越大。观察wps22.jpg截图，你会发现：

• 第1-12小时（浅蓝）：误差稳定在0.8℃以内，说明短期预测可靠；
• 第18-24小时（深红）：误差跃升至2.3℃，尤其11月15日（寒潮日）达3.1℃；
• 根本原因：LSTM的滑动窗口仅72小时，对超过3天的累积误差缺乏修正机制。

改进方案：在GetModel.py中增加滚动预测（Rolling Forecast）：

# 在_predict_lstm()中替换原逻辑 def _predict_lstm_rolling(self, X_test, steps=24): predictions = [] current_input = X_test[0] # 初始窗口 for i in range(steps): pred = self.model(current_input[np.newaxis, ...]) # 预测下一小时 predictions.append(pred.item()) # 滚动更新窗口：丢弃最早一小时，加入新预测 current_input = np.vstack([current_input[1:], np.array([pred.item(), 0, 0, 0])]) # 后三列用均值填充 return np.array(predictions)

从那以后我每次做时序预测都强制走一遍滚动预测验证——它暴露的误差模式，比任何理论指标都真实。希望帮到你。

本文还有配套的精品资源，点击获取