1. 项目概述：当数学建模遇上每日热词
去年美赛C题一出来，我们几个建模老手都乐了。题目叫“预测 Wordle 结果”，Wordle 是啥？就是那个每天只能猜五次、风靡全球的英文猜词小游戏。这题有意思，它没让你去解一个传统的物理或工程问题，而是把一个活生生的、每天都在变化的互联网文化现象，直接扔给了我们这些搞数学和编程的人。核心任务很明确：基于历史数据，构建模型来预测未来每一天 Wordle 谜题的答案。
这题妙就妙在，它完美地卡在了“数据科学”、“博弈论”和“自然语言处理”的交叉口。你需要的不仅是数学公式，还得懂点游戏设计者的心思，甚至要揣摩一下全球玩家的集体行为模式。题目提供的核心数据是过去一年的 Wordle 答案序列，以及一个包含所有可能答案的单词列表。你的模型，得从这一串单词里，嗅出下一个会是谁。
这不仅仅是猜单词，更像是在解一道关于“模式、约束与不确定性”的谜题。它适合所有对数据分析、算法设计和跨学科应用感兴趣的朋友，无论你是正在备战数模竞赛的学生，还是想找个有趣项目练手的数据爱好者。通过这个项目，你能真切地体会到，如何将抽象的数学模型，落地到一个具体、有趣且充满挑战的真实问题中。
2. 解题核心思路与模型选型剖析
面对 Wordle 预测这个问题，第一步不是急着写代码，而是静下心来拆解题目。题目给了我们两条关键线索：一是历史答案的时间序列，二是一个有限的单词候选池。这本质上是一个时间序列预测问题，但它的“状态空间”是离散的单词，而非连续的数字。因此，直接套用 ARIMA、LSTM 这类经典时序模型是行不通的，因为它们处理不了“apple”后面跟着“brave”这种离散关系。
我们的核心思路必须围绕“从历史序列中挖掘模式，并对候选池进行排序和筛选”来展开。经过讨论和文献调研，我们确定了几个可行的建模方向，并分析了其背后的考量。
2.1 基于规则与统计的初级模型
对于初次接触或追求稳健起点的队伍，这是一个非常好的切入点。其核心思想是：游戏设计者（《纽约时报》）在选择每日答案时，一定会遵循某些隐含的规则或偏好，这些规则会体现在历史数据中。
思路一：日期关联分析。这是最直观的猜想。Wordle 答案会不会与日期（如星期几、月份、节日）强相关？例如，周末的单词是否更轻松？感恩节附近是否会出现“feast”、“thank”这类词？我们首先对历史答案序列进行标注，提取每个答案对应的星期、月份、是否节假日等信息，然后进行卡方检验或可视化分析，观察特定单词在特定时间出现的频率是否显著高于期望。如果发现强关联，就可以构建一个基于日期的先验概率分布。例如，如果历史上周一出现“A”开头单词的概率明显高，那么在未来周一预测时，所有“A”开头的候选词权重就会增加。
注意：这个思路容易陷入“过拟合”陷阱。可能历史上某些巧合（如连续两个周一都是“S”开头）会被误认为是规律。必须进行严格的统计显著性检验，并且要用时间交叉验证（例如，用前6个月的数据总结规律，预测后几个月）来评估规律的有效性，而不是在全体数据上自娱自乐。
思路二：单词属性时序分析。跳出具体单词，分析单词属性的时间序列。我们可以将每个答案单词转化为一组特征向量，例如：单词长度（固定为5）、首字母、尾字母、元音字母数量、字母重复情况、词频（基于大型英文语料库如Google Ngram）、词性（是否为名词、动词）、情感色彩（积极/消极）等。这样，历史答案序列就变成了一个多维特征的时间序列。我们可以分析这些特征序列是否存在自相关性或周期性。例如，是否连续几天答案的元音数量都在2-3之间波动？首字母的分布是否呈现出某种缓慢变化的趋势？如果存在，我们就可以先预测未来一天答案的特征（比如预测明天答案的首字母很可能是“C”），然后在候选池中筛选符合这些特征的单词，再进行下一步排序。
2.2 基于马尔可夫链与文本挖掘的进阶模型
当统计规则无法捕捉更复杂的模式时，我们需要引入状态转移的概念。这正是马尔可夫链模型的用武之地。我们可以将每个单词视为一个“状态”，历史序列就是状态转移的路径。
思路三：一阶马尔可夫链模型。这是最基础的转移模型。它假设“明天的答案只与今天的答案有关”。我们根据历史序列计算转移概率矩阵：矩阵的行和列都是候选池中的单词，矩阵元素P(i, j)表示在单词i作为答案出现后，单词j成为下一个答案的概率。预测时，已知今天答案W_t，那么明天最可能的答案就是argmax_j P(W_t, j)。
这个模型的优势是简单明了，计算快捷。但它有一个致命弱点：它只考虑了一天前的依赖关系。而 Wordle 答案的设计很可能具有更长程的关联或全局性的约束（比如避免短期内重复使用相同字母）。
思路四：高阶马尔可夫链或 N-gram 模型。为了捕捉更长距离的依赖，我们可以建立二阶（依赖前两天）、三阶马尔可夫链。或者，更自然地，采用 N-gram 语言模型的思想。我们将历史答案序列视为一个“句子”，计算每个 N-gram（例如 3-gram，即连续三个单词的组合）出现的频率。在预测时，我们已知最近的 N-1 个单词，去查找所有可能接在后面的单词及其概率。例如，已知最近两天的答案是“APPLE, BRAVE”，我们就在历史中统计所有“APPLE BRAVE X”的出现情况，来预测 X。
实操心得：高阶模型对数据量要求很高。Wordle 历史数据只有一年左右，约365个样本。对于包含上万单词的候选池，三阶转移矩阵将是极其稀疏的，绝大多数转移对从未出现过，导致预测失效。因此，必须配合平滑技术，如拉普拉斯平滑（加一平滑），给未出现过的转移赋予一个极小的概率，避免零概率问题。同时，N 的取值不宜过大，通常二阶或三阶是数据量所能支撑的合理上限。
思路五：结合语义空间的隐马尔可夫模型（HMM）思路。这是一个更巧妙的思路。我们观察到，直接对单词建模数据稀疏，但对单词的“特征”建模则维度更低、更稳定。我们可以假设存在一个隐性的“主题”或“状态”序列在驱动着可见的单词答案序列。例如，隐状态可能是“简单常见词”、“中等难度词”、“生僻词”或“与季节相关”、“与情感相关”等。我们使用 HMM 来建模：隐状态之间的转移构成一个马尔可夫链，而每个隐状态下，生成某个单词的概率是特定的。通过历史数据训练 HMM（使用 Baum-Welch 算法），我们就可以用维特比算法解码出最可能的隐状态序列，并基于当前隐状态预测下一个单词的发射概率。这相当于对单词进行了聚类和抽象，缓解了数据稀疏问题。
2.3 基于机器学习的集成预测模型
对于追求高精度和稳健性的队伍，单一模型往往有局限，集成多个模型的预测结果是一个更优的策略。这要求我们不仅会建模型，还要会“管理”模型。
思路六：特征工程 + 分类器排序。这是我们将问题转化为经典机器学习问题的关键一步。对于候选池中的每一个单词，我们都可以在“预测日”这个时间点上，为它构造一系列特征。这些特征包括：
- 历史统计特征：该单词在过去作为答案出现的次数、最近一次出现的日期距离今天的天数（重复周期）。
- 转移概率特征：基于一阶、二阶马尔可夫链，该单词相对于最近一天、两天答案的转移概率。
- 时序特征：该单词的字母特征（如首字母、元音数）与通过“思路二”预测出的明日特征向量的匹配度（如余弦相似度）。
- 全局属性特征：单词的词频、字母熵（字母分布的随机性，熵值高可能意味着更“难猜”）、是否与近期节日/事件相关（通过外部知识库判断）。
- 日期关联特征：该单词在历史上与今天同星期几、同月份的相关性强度。
有了每个单词的特征向量，我们就能构建一个训练集：把历史数据按时间切片，对于历史上的每一天，我们都能够构造出当天所有候选词的特征，并且我们知道当天的正确答案（标签为1），以及其他错误候选词（标签为0）。这样，我们就得到了一个庞大的二分类数据集。我们可以使用LightGBM、XGBoost 或随机森林这类能处理特征重要性、且对非线性关系捕捉能力强的模型进行训练。模型学习的是，具备怎样特征组合的单词，更有可能在特定时间背景下被选为答案。
预测时，我们为明天构造所有候选词的特征，输入训练好的模型，得到每个单词是答案的“概率”得分，然后按得分排序，最高者即为我们的预测。
思路七：模型集成与投票机制。我们不会把宝押在一个模型上。通常，我们会并行运行上述多个模型（如规则模型、马尔可夫模型、机器学习模型），每个模型都会输出一个候选词排序列表。如何整合？简单的方法是投票法：每个模型将其 Top 3 预测进行投票，得票最高的单词胜出。更精细的方法是加权平均法：根据各个模型在历史验证集上的准确率，为它们的预测概率赋予权重，然后加权平均每个单词的得分。例如，机器学习模型在回测中表现最好，就给它更高的权重。
3. 数据预处理与特征工程实战细节
模型的大厦建立在数据的地基上。Wordle 预测项目的数据处理，有其独特之处，也是决定模型上限的关键环节。
3.1 原始数据清洗与格式化
题目通常会提供一个包含历史答案的文本文件（如answers.txt）和一个包含所有可能答案的单词列表文件（如allowed_words.txt）。第一步是规整它们。
import pandas as pd # 1. 加载历史答案，假设每行一个单词，按时间顺序排列 with open('answers.txt', 'r') as f: historical_answers = [line.strip().upper() for line in f.readlines()] # 统一转为大写 # 创建时间索引。假设第一个答案对应一个已知起始日期，例如 2022-01-01 start_date = pd.Timestamp('2022-01-01') date_range = pd.date_range(start=start_date, periods=len(historical_answers), freq='D') history_df = pd.DataFrame({'date': date_range, 'answer': historical_answers}) # 2. 加载候选词列表 with open('allowed_words.txt', 'r') as f: candidate_words = [line.strip().upper() for line in f.readlines()] print(f"历史答案数量: {len(history_df)}") print(f"候选词数量: {len(candidate_words)}") print(f"历史答案示例:\n{history_df.head()}")关键操作：统一大小写至关重要，避免后续匹配时因大小写不一致而出错。同时，为历史答案建立明确的时间索引date，这是所有时序分析的基础。
3.2 基础特征构造
我们需要为每一个单词（无论是历史答案还是候选词）计算一组静态的、与时间无关的特征。这些特征将作为更复杂特征的基础。
def extract_word_features(word): """为单个单词提取基础特征""" features = {} features['word'] = word features['first_letter'] = word[0] features['last_letter'] = word[-1] features['vowel_count'] = sum(1 for c in word if c in 'AEIOU') features['unique_letters'] = len(set(word)) features['has_repeated_letters'] = (features['unique_letters'] < 5) # 计算字母熵，作为复杂度度量 from collections import Counter import math freq = Counter(word) entropy = -sum((count/5) * math.log2(count/5) for count in freq.values()) features['letter_entropy'] = entropy # 这里可以添加更多，如：是否包含常见字母组合（'TH', 'ING'等） return features # 为所有候选词构建特征 DataFrame candidate_features = pd.DataFrame([extract_word_features(w) for w in candidate_words]) # 同样为历史答案构建（可以合并到 history_df 中） history_df = history_df.join(pd.DataFrame([extract_word_features(w) for w in history_df['answer']]))3.3 时序特征与转移概率计算
这是特征工程的核心，旨在捕捉单词在时间序列中的动态关系。
计算一阶转移概率矩阵：
from itertools import product import numpy as np # 创建转移计数矩阵，索引为候选词列表 word_to_idx = {word: i for i, word in enumerate(candidate_words)} transfer_counts = np.zeros((len(candidate_words), len(candidate_words))) # 遍历历史答案序列，统计转移 for i in range(len(historical_answers)-1): prev_word = historical_answers[i] curr_word = historical_answers[i+1] if prev_word in word_to_idx and curr_word in word_to_idx: prev_idx = word_to_idx[prev_word] curr_idx = word_to_idx[curr_word] transfer_counts[prev_idx, curr_idx] += 1 # 拉普拉斯平滑：每个计数加1，避免零概率 transfer_counts_smoothed = transfer_counts + 1 # 计算转移概率（行归一化） transfer_probs = transfer_counts_smoothed / transfer_counts_smoothed.sum(axis=1, keepdims=True) # 封装成查询函数 def get_transition_prob(prev_word, next_word): if prev_word not in word_to_idx or next_word not in word_to_idx: return 1e-6 # 返回一个极小值 i, j = word_to_idx[prev_word], word_to_idx[next_word] return transfer_probs[i, j]构造预测日的特征：假设我们要预测日期target_date的答案。对于候选池中的每一个单词w，我们需要构造它在target_date这个上下文下的特征向量。
def construct_features_for_candidate(target_date, candidate_word, history_df, candidate_features_df, transfer_probs, word_to_idx): """ 为特定日期和候选词构造特征向量。 """ features = {} # 1. 候选词自身静态特征 static_feats = candidate_features_df[candidate_features_df['word'] == candidate_word].iloc[0] for col in ['first_letter', 'last_letter', 'vowel_count', 'unique_letters', 'letter_entropy']: features[col] = static_feats[col] # 2. 时间相关特征 features['day_of_week'] = target_date.dayofweek # 周一=0, 周日=6 features['month'] = target_date.month features['is_weekend'] = 1 if features['day_of_week'] >= 5 else 0 # 3. 历史出现特征 word_history = history_df[history_df['answer'] == candidate_word] features['has_appeared'] = len(word_history) > 0 if features['has_appeared']: last_appear_date = word_history['date'].max() features['days_since_last_appear'] = (target_date - last_appear_date).days features['appear_count'] = len(word_history) else: features['days_since_last_appear'] = 999 # 用一个很大的数表示从未出现 features['appear_count'] = 0 # 4. 转移概率特征 (基于最近的实际答案) # 获取最近几天的历史答案 recent_answers = history_df[history_df['date'] < target_date].tail(2)['answer'].tolist() if len(recent_answers) >= 1: features['trans_prob_from_prev1'] = get_transition_prob(recent_answers[-1], candidate_word) if len(recent_answers) >= 2: # 简化处理：计算二阶转移（最近两个单词到候选词）的概率，可以用平均或连乘近似 prob1 = get_transition_prob(recent_answers[-2], recent_answers[-1]) prob2 = get_transition_prob(recent_answers[-1], candidate_word) features['trans_prob_from_prev2'] = prob1 * prob2 # 简单连乘假设独立性 # 5. 日期匹配特征 (需要预先计算好的“日期-单词”关联强度) # 假设我们有一个预先计算好的字典 date_pattern_strength，存储了(星期几， 单词)的关联得分 # features['date_pattern_score'] = date_pattern_strength.get((features['day_of_week'], candidate_word), 0) return pd.Series(features)注意事项：特征构造是迭代的过程。你需要先基于历史数据训练一个初版模型，然后分析哪些特征重要性最高，哪些特征之间存在共线性，再回头来调整特征设计。例如，
days_since_last_appear和appear_count可能高度相关，可以考虑只保留一个或构造一个新的组合特征（如“平均出现间隔”）。
4. 模型构建、训练与预测流程
有了精心准备的特征，我们就可以搭建完整的机器学习预测流水线了。这里以集成思路中的“特征工程+LightGBM分类器”为例，展示一个完整的、可复现的流程。
4.1 构建训练与验证数据集
我们不能直接用全部历史数据训练，然后用最后几天测试，因为这样无法评估模型在“未来”的泛化能力。我们需要进行时序交叉验证。
import lightgbm as lgb from sklearn.model_selection import TimeSeriesSplit from sklearn.metrics import accuracy_score import warnings warnings.filterwarnings('ignore') # 假设我们已经有一个函数，能为历史上任意一天和任意候选词生成特征DataFrame # 这里简化表示：我们为历史上每一天，生成所有候选词的特征，并标记正确答案（1）和其他词（0） # 这会生成一个非常大的数据集，实际操作中需要分块处理或采样负样本。 def create_labeled_dataset(history_df, candidate_words, feature_func, lookback_days=30): """ 创建用于训练的数据集。 为了控制数据规模，我们只取答案日当天，以及从候选池中随机采样的一部分负样本（非答案词）。 """ all_data = [] for idx, row in history_df.iterrows(): current_date = row['date'] correct_word = row['answer'] # 正样本：正确答案 feats = feature_func(current_date, correct_word, history_df, candidate_features, transfer_probs, word_to_idx) feats['label'] = 1 all_data.append(feats) # 负样本：随机采样一些错误答案。采样数量可以调整，比如50个。 negative_candidates = [w for w in candidate_words if w != correct_word] sampled_negatives = np.random.choice(negative_candidates, size=min(50, len(negative_candidates)), replace=False) for neg_word in sampled_negatives: feats_neg = feature_func(current_date, neg_word, history_df, candidate_features, transfer_probs, word_to_idx) feats_neg['label'] = 0 all_data.append(feats_neg) dataset_df = pd.DataFrame(all_data).reset_index(drop=True) # 确保没有缺失值 dataset_df = dataset_df.fillna(0) return dataset_df # 生成数据集（这是一个耗时操作，建议缓存结果） full_dataset = create_labeled_dataset(history_df, candidate_words, construct_features_for_candidate) print(f"训练数据集形状: {full_dataset.shape}")4.2 时序交叉验证与模型训练
我们使用TimeSeriesSplit来模拟在历史数据上逐步预测未来的过程。
# 分离特征和标签 X = full_dataset.drop(['label', 'word'], axis=1, errors='ignore') # 确保移除标签和单词本身 y = full_dataset['label'] # 获取时间顺序索引（因为我们的数据集是按历史日期顺序构造的） tscv = TimeSeriesSplit(n_splits=5) # 将数据分成5个时序块 accuracies = [] feature_importances = [] for fold, (train_idx, val_idx) in enumerate(tscv.split(X)): print(f"\n--- 正在训练 Fold {fold+1} ---") X_train, X_val = X.iloc[train_idx], X.iloc[val_idx] y_train, y_val = y.iloc[train_idx], y.iloc[val_idx] # 创建 LightGBM 数据集 train_data = lgb.Dataset(X_train, label=y_train) val_data = lgb.Dataset(X_val, label=y_val, reference=train_data) # 设置参数 params = { 'objective': 'binary', 'metric': 'binary_logloss', 'boosting_type': 'gbdt', 'num_leaves': 31, 'learning_rate': 0.05, 'feature_fraction': 0.9, 'bagging_fraction': 0.8, 'bagging_freq': 5, 'verbose': -1, 'seed': 42 } # 训练模型 model = lgb.train(params, train_data, valid_sets=[val_data], num_boost_round=1000, callbacks=[lgb.early_stopping(stopping_rounds=50), lgb.log_evaluation(period=100)]) # 在验证集上预测并评估 # 注意：验证集里包含同一天多个单词（一个正样本，多个负样本）。我们需要找出当天预测概率最高的单词。 X_val['pred_prob'] = model.predict(X_val) # 将预测结果按“天”分组，找出每天概率最高的单词 # 这里需要一个映射回到日期和单词的标识，我们在构造数据集时需要保留这些信息。 # 假设我们的 full_dataset 中还有 'date' 和 'candidate_word' 列（在create_labeled_dataset中需要加入） # 此处为演示逻辑： val_results = X_val.copy() val_results['date'] = full_dataset.iloc[val_idx]['date'].values val_results['candidate_word'] = full_dataset.iloc[val_idx]['word'].values val_results['label'] = y_val.values daily_predictions = val_results.groupby('date').apply(lambda g: g.loc[g['pred_prob'].idxmax()]) fold_accuracy = accuracy_score(daily_predictions['label'], [1]*len(daily_predictions)) accuracies.append(fold_accuracy) print(f"Fold {fold+1} 准确率: {fold_accuracy:.4f}") # 收集特征重要性 fold_importance = pd.DataFrame({'feature': model.feature_name(), 'importance': model.feature_importance()}) feature_importances.append(fold_importance) print(f"\n平均交叉验证准确率: {np.mean(accuracies):.4f} (+/- {np.std(accuracies):.4f})")4.3 全量训练与最终预测
选择在交叉验证中表现稳定的参数，使用全部可用历史数据重新训练最终模型。
# 使用全部数据训练最终模型 final_train_data = lgb.Dataset(X, label=y) final_model = lgb.train(params, final_train_data, num_boost_round=model.best_iteration) # 分析特征重要性 importance_df = pd.concat(feature_importances).groupby('feature').mean().sort_values('importance', ascending=False) print("最重要的10个特征:") print(importance_df.head(10)) # 预测未来一天的答案 def predict_next_word(target_date, final_model, history_df, candidate_words, feature_func): """预测指定日期的答案""" candidate_features_list = [] for word in candidate_words: feats = feature_func(target_date, word, history_df, candidate_features, transfer_probs, word_to_idx) feats['candidate_word'] = word candidate_features_list.append(feats) pred_df = pd.DataFrame(candidate_features_list).fillna(0) # 确保特征列的顺序与训练时一致 X_pred = pred_df[final_model.feature_name()] pred_df['prediction_score'] = final_model.predict(X_pred) # 按预测得分排序 top_predictions = pred_df.sort_values('prediction_score', ascending=False).head(10) return top_predictions[['candidate_word', 'prediction_score']] # 假设我们要预测明天（2023-06-20）的答案 tomorrow = pd.Timestamp('2023-06-20') top10 = predict_next_word(tomorrow, final_model, history_df, candidate_words, construct_features_for_candidate) print(f"\n预测日期: {tomorrow.date()}") print("Top 10 候选词及得分:") print(top10)5. 模型评估、结果分析与可视化
模型预测不是终点，我们需要科学地评估其表现，并理解其预测逻辑。对于 Wordle 预测，评估指标和可视化方式有其特殊性。
5.1 评估指标的选择与解读
对于分类模型，我们常用准确率、精确率、召回率。但在这里，我们最终输出的是一个排序列表（Top N），而不是一个单一的“是/否”判断。因此，我们需要更细致的评估方式：
- Top-1 准确率：预测的第一个单词就是正确答案的概率。这是最核心的指标，直接反映了模型的精准度。
- Top-3/5/10 命中率：正确答案出现在预测的前3、5、10个单词中的概率。这个指标更宽容，也更有实际意义。因为即使模型不能100%确定唯一答案，如果能将答案圈定在一个很小的范围内，也极具价值。
- 平均排名（Mean Reciprocal Rank, MRR）：这是一个在信息检索中常用的指标。对于每一次预测，如果正确答案在列表中的排名是
rank，则其得分为1/rank。将所有预测的得分平均，就是 MRR。MRR 越接近1，说明模型排名能力越强，正确答案通常排在很靠前的位置。
我们可以通过回测（backtesting）来计算这些指标：从历史中选取一段时期作为“模拟预测期”，用该日期之前的数据训练模型，然后预测该日期的答案，并与真实答案对比。
def evaluate_model_backtest(start_test_date, end_test_date, history_df, candidate_words, model_params): """ 在历史时间段上进行回测评估。 """ ranks = [] top1_correct = 0 top3_correct = 0 top10_correct = 0 total_days = 0 current_date = pd.Timestamp(start_test_date) end_date = pd.Timestamp(end_test_date) while current_date <= end_date: # 1. 准备训练数据：使用当前日期之前的所有数据 train_history = history_df[history_df['date'] < current_date] if len(train_history) < 60: # 如果数据太少，跳过前期 current_date += pd.Timedelta(days=1) continue # 2. 基于 train_history 重新计算特征（如转移矩阵）并训练模型（简化起见，这里可以复用之前训练好的全局模型，但严格来说应该重新训练） # 为演示，我们假设有一个函数可以快速基于子集更新模型或特征，这里略过细节。 # 我们直接使用基于全部历史数据训练的 final_model 进行预测（这是一种近似，实际比赛应滚动训练）。 top_predictions = predict_next_word(current_date, final_model, train_history, candidate_words, construct_features_for_candidate) # 3. 获取真实答案 true_answer_row = history_df[history_df['date'] == current_date] if true_answer_row.empty: current_date += pd.Timedelta(days=1) continue true_answer = true_answer_row.iloc[0]['answer'] # 4. 评估 ranked_words = top_predictions['candidate_word'].tolist() try: rank = ranked_words.index(true_answer) + 1 ranks.append(rank) if rank == 1: top1_correct += 1 if rank <= 3: top3_correct += 1 if rank <= 10: top10_correct += 1 except ValueError: # 正确答案不在预测的Top10中，赋予一个很大的排名，比如100 ranks.append(100) total_days += 1 current_date += pd.Timedelta(days=1) # 计算指标 mrr = np.mean([1/r for r in ranks]) top1_acc = top1_correct / total_days top3_hit = top3_correct / total_days top10_hit = top10_correct / total_days print(f"回测期 {start_test_date} 至 {end_test_date}") print(f"总预测天数: {total_days}") print(f"Top-1 准确率: {top1_acc:.4f}") print(f"Top-3 命中率: {top3_hit:.4f}") print(f"Top-10 命中率: {top10_hit:.4f}") print(f"平均倒数排名 (MRR): {mrr:.4f}") return { 'top1_acc': top1_acc, 'top3_hit': top3_hit, 'top10_hit': top10_hit, 'mrr': mrr, 'all_ranks': ranks } # 示例：评估最后90天的表现 eval_results = evaluate_model_backtest('2023-03-01', '2023-05-30', history_df, candidate_words, params)5.2 预测结果的可视化分析
将模型的预测结果和评估过程可视化，能帮助我们更直观地理解模型行为。
1. 特征重要性柱状图：
import matplotlib.pyplot as plt import seaborn as sns plt.figure(figsize=(10, 6)) top20_features = importance_df.head(20) sns.barplot(x='importance', y=top20_features.index, data=top20_features.reset_index()) plt.title('Top 20 特征重要性 (LightGBM)') plt.xlabel('重要性得分') plt.tight_layout() plt.show()通过这个图，你可以清晰地看到哪些因素对预测贡献最大。是“距离上次出现的天数”？还是“转移概率”？或者是“星期几”？这能指导你进一步优化特征工程。
2. 预测排名分布直方图：
plt.figure(figsize=(10, 5)) plt.hist(eval_results['all_ranks'], bins=range(1, 31), edgecolor='black', align='left') plt.axvline(x=10.5, color='r', linestyle='--', label='Top10边界') plt.xlabel('正确答案的预测排名') plt.ylabel('天数') plt.title('回测期预测排名分布') plt.legend() plt.show()这个直方图展示了模型预测能力的稳定性。如果大部分柱子都集中在左侧（排名1-5），说明模型很强且稳定。如果分布很散，甚至有很多排名大于10的情况，说明模型预测不确定性高，或者某些日期的模式难以捕捉。
3. 时间序列准确率趋势图：
# 假设我们记录了回测中每一天的预测排名 # 可以计算一个滚动准确率（例如，7天滚动Top-1准确率） rolling_window = 7 rolling_top1 = pd.Series([1 if r == 1 else 0 for r in eval_results['all_ranks']]).rolling(rolling_window).mean() plt.figure(figsize=(12, 5)) plt.plot(rolling_top1.index, rolling_top1.values, marker='o', markersize=3) plt.axhline(y=eval_results['top1_acc'], color='gray', linestyle='--', label=f'整体平均 ({eval_results["top1_acc"]:.2%})') plt.xlabel('回测期时间序列') plt.ylabel(f'{rolling_window}天滚动Top-1准确率') plt.title('模型预测性能随时间变化趋势') plt.legend() plt.grid(True, alpha=0.3) plt.show()这个图能揭示模型性能是否随时间退化或波动。如果准确率在后期明显下降，可能意味着游戏模式发生了变化（例如，《纽约时报》接手后选题策略有变），提示我们需要让模型具备在线学习或适应变化的能力。
6. 常见问题、避坑指南与进阶思考
在实际操作中，你会遇到各种各样的问题。下面是我和队友们踩过坑后总结出的一些核心要点和进阶思路。
6.1 数据与特征相关陷阱
问题1：数据泄露（Data Leakage）。这是新手最容易犯的致命错误。例如，在构造“单词词频”特征时，如果使用了包含未来信息的语料库统计结果，就是泄露。再比如，用全部历史数据计算转移矩阵，然后去预测这段历史中的某一天，这也是一种泄露。必须确保：为某一天构造特征时，只能使用该天之前的信息。我们的construct_features_for_candidate函数中，history_df传入的是截止到target_date之前的数据，就是这个原则的体现。
问题2：类别不平衡与负样本采样。我们的训练集中，正样本（正确答案）每天只有1个，而负样本（错误答案）有成千上万个。如果不对负样本进行下采样，模型会极度偏向于预测“否”，导致学不到东西。我们之前采用随机采样50个负样本的策略就是一种处理方式。更精细的做法可以是“困难负样本挖掘”，例如，选择那些在特征空间上与正样本很接近，但又不是答案的单词。
问题3：特征共线性与过拟合。如果你构造了太多高度相关的特征（比如“单词长度”和“字母数”，对于5字母Wordle都是常数5），不仅无益，还会增加过拟合风险，降低模型泛化能力。务必在训练后检查特征重要性，并利用相关性矩阵剔除高度相关的特征。LightGBM 对共线性有一定鲁棒性，但保持特征简洁总是好的。
6.2 模型与策略优化思路
思路1：集成模型投票。如前所述，单一模型有局限。我们可以训练多个不同类型的模型（如LightGBM、逻辑回归、甚至简单的规则模型），让它们对候选词进行排序或打分，然后通过加权投票或排序平均（如Borda Count法）来得到最终排序。这能有效平滑单个模型的误差，提升鲁棒性。
思路2：模拟玩家策略进行后处理。Wordle 是一个游戏，设计者在选择答案时，可能会考虑“玩家体验”。例如，他们可能会避免连续几天使用开头字母相同的单词，或者避免使用过于生僻、让大多数玩家挫败的单词。我们的纯数据模型可能捕捉不到这种“人性化”的考量。因此，在得到模型的 Top 10 预测后，可以加入一些后处理规则：例如，如果昨天答案首字母是‘S’，则今天优先排除首字母是‘S’的预测；或者，如果某个单词的字母熵极高（非常生僻），则适当降低其排名。
思路3：引入外部数据与语义信息。题目给的候选词列表是有限的，但我们可以从外部获取更多信息。例如，使用大型预训练语言模型（如BERT、GPT的嵌入）来计算候选词与近期热点话题、节日氛围的语义相关性。或者，爬取社交媒体上关于 Wordle 的讨论，分析玩家群体的情绪和猜测趋势，作为预测的辅助信号。这属于“开卷”的创新点，但需要注意引入外部数据的合理性和可解释性。
6.3 比赛论文写作要点
美赛不仅是比模型，更是比如何将你的工作清晰、有说服力地呈现出来。
- 假设清晰：开篇必须明确列出你的核心假设。例如：“我们假设《纽约时报》编辑选择答案的过程是一个具有隐式模式的随机过程，且该模式可通过历史数据学习。”
- 模型演进叙事：在论文中，不要直接抛出最终复杂的集成模型。应该像讲故事一样，从最简单的基准模型（如随机猜测、基于日期的规则）开始，逐步增加复杂度（加入转移概率、加入机器学习特征），并展示每一步带来的性能提升。这体现了你思考的深度和逻辑性。
- 敏感性分析：展示你的模型对关键参数或假设的鲁棒性。例如，改变负样本采样数量对结果影响大吗？使用不同的时间窗口计算转移概率会怎样？这能大大增加论文的说服力。
- 可视化与解释：充分利用图表。除了上述的评估图表，还可以绘制“混淆矩阵”的变体——比如一个矩阵，行是真实答案的首字母，列是预测答案的首字母，可以看出模型在哪些字母上容易混淆。这能展示你对问题的深入洞察。
- 坦诚讨论局限性：没有完美的模型。一定要在结论部分讨论你模型的局限性。例如：“我们的模型严重依赖于历史模式，如果游戏编辑策略发生突变，模型性能可能会下降。” 并提出可能的改进方向，这体现了科学的严谨性。
最后想说的是，Wordle 预测这个题目，其魅力在于它介于确定性与随机性之间。完全 deterministic 就无趣了，完全 random 则不可预测。我们的工作，就是在两者之间找到那条微妙的、可被数据捕捉的规律线。这个过程充满挑战，也充满乐趣。当你看到自己的模型成功预测出第二天的答案时，那种成就感，远比解出一道纯数学题要来得强烈。希望这份详细的总结，能为你打开思路，少走些我们曾经走过的弯路。
