抖音六神算法更新源码解析：从多路召回 to 精排的工程链路

简介：这份资源围绕抖音内容推荐系统“六神算法”的更新展开，面向关注短视频推荐机制、算法演进与抖音开发的技术人员及学习者，提供可运行的源码参考，帮助理解新版算法在用户行为分析与个性化推荐上的实现思路。压缩包共3个文件，以inscode工程配置、html页面和gitignore忽略规则为主，整体约4KB，体量轻巧，便于快速导入与本地运行调试。目前已有886人学习下载，具备一定的社区关注度。通过源码，读者可直观了解算法更新至33.x以上后的结构组织与关键逻辑，结合技术博客的解读，进一步掌握推荐系统在精准预测、内容审核与数据安全方面的设计考量，并可作为二次开发或算法优化实验的起点，适合具备一定前端与算法基础、希望深入抖音推荐机制的开发者参考借鉴。

1. 抖音六神算法更新：一份可运行源码能帮你省掉多少试错成本

短视频推荐流里有个经典现象：同一条视频，换个封面、改个发布时间，播放量能差出十倍。很多人把这归结为“玄学”，但做算法的人知道，背后是一套多路召回加排序的工程链路在起作用。这次要拆的是一份“抖音六神算法更新”的可运行源码包，它把推荐系统里最核心的几个模块——召回、粗排、精排、重排——用可跑通的代码串了起来。适合谁？正在做推荐系统课程设计的学生、想从零搭一套推荐 Demo 的初中级算法工程师、以及需要快速验证某个排序策略是否有效的从业者。源码能跑，意味着你可以改参数、换数据、看指标变化，而不是对着论文里的公式干瞪眼。

2. 六神算法更新拆解：从多路召回 to 精排的工程链路

2.1 召回层：为什么不是一路召回到黑

推荐系统的第一道关卡是召回。六神算法更新里，召回层被拆成了多路并行：协同过滤一路、向量检索一路、热度兜底一路。这么做的原因很直接——单路召回要么覆盖不全，要么精度不够。协同过滤擅长捕捉用户历史行为的相似性，但对新用户和新物品无能为力；向量检索能通过 Embedding 算相似度，覆盖面广，但容易引入噪声；热度兜底保证冷启动场景下不至于开天窗。

源码里召回模块的入口在recall/目录下，核心调度逻辑在recall_engine.py。我一般会先看它的召回路由配置：

# recall/recall_engine.py RECALL_ROUTES = { "cf": {"weight": 0.4, "topk": 200}, # 协同过滤召回，权重0.4，取前200 "embedding": {"weight": 0.4, "topk": 200}, # 向量召回，权重0.4，取前200 "hot": {"weight": 0.2, "topk": 100} # 热度召回，权重0.2，取前100 } def merge_recall_results(user_id, routes=RECALL_ROUTES): candidates = [] for name, cfg in routes.items(): items = getattr(recall_module, name)(user_id, cfg["topk"]) # 给每路召回结果打上来源标记，方便后续分析 for item in items: item["source"] = name item["recall_score"] = item["score"] * cfg["weight"] candidates.extend(items) # 按 recall_score 去重排序，截断到500个候选 return dedup_and_sort(candidates)[:500]

这段代码的逻辑是：每路召回按自己的权重对原始分数做缩放，然后合并去重。参数怎么调？如果发现最终推荐结果多样性差，把embedding的topk调大；如果线上响应时间超标，优先砍cf的topk，因为协同过滤的计算开销通常最大。注意weight不是归一化的，改一个值要同步看其他路的相对比例。

2.2 粗排与精排：双塔模型和 DeepFM 的分工

召回之后是粗排，粗排的任务是在几百个候选里快速筛出几十个，对延迟极其敏感。六神算法更新里粗排用的是双塔模型，用户塔和物品塔分别过 MLP，最后算内积。精排则上了 DeepFM，同时建模低阶特征交叉和高阶非线性。

源码里粗排的模型定义在rank/coarse_rank.py，精排在rank/fine_rank.py。粗排的推理代码值得细看：

# rank/coarse_rank.py class TwoTowerModel(nn.Module): def __init__(self, user_dim, item_dim, hidden_dim=128): super().__init__() self.user_tower = nn.Sequential( nn.Linear(user_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 64) # 用户塔输出64维向量 ) self.item_tower = nn.Sequential( nn.Linear(item_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 64) # 物品塔输出64维向量 ) def forward(self, user_feat, item_feat): user_vec = self.user_tower(user_feat) item_vec = self.item_tower(item_feat) # 内积作为粗排分数，训练时用 sampled softmax return torch.matmul(user_vec, item_vec.T)

双塔的好处是物品向量可以离线预计算，线上只算用户塔，延迟能压到毫秒级。但代价是用户和物品的特征在最后一层才交互，精度不如精排。所以粗排的topk一般设得比精排大，给精排留足挑选空间。源码里粗排输出 50 个，精排再从中选 10 个。如果你发现精排效果波动大，先把粗排的topk从 50 提到 100 试试，很多时候是粗排把好物品筛掉了。

2.3 重排：打散与强插的逻辑

精排给出分数后，重排负责最终呈现。六神算法更新里的重排模块做了两件事：一是打散，避免同一作者或同一类目的内容连续出现；二是强插，保证一定比例的新内容或运营内容能曝光。

重排的配置在rerank/config.yaml里，关键参数如下：

这个表里的参数不是拍脑袋定的，源码注释里写了 A/B 实验的结论。我一般会先跑一遍默认配置，看日志里的category_consecutive指标，如果超过 3 就说明打散没生效，检查diversity_lambda是不是被设成了 0。

3. 把源码跑起来：环境配置与数据准备

3.1 依赖安装与目录结构

拿到源码包后，第一步是看requirements.txt。六神算法更新依赖 PyTorch、Faiss、Pandas 和 Flask，版本号在文件里锁死了。我建议用 conda 建一个干净环境，避免和本地的包冲突：

# 创建虚拟环境，Python版本按requirements.txt里的来 conda create -n liushen_rec python=3.8 conda activate liushen_rec # 安装依赖，建议加国内镜像源加速 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 验证Faiss是否装好，这是向量召回的关键库 python -c "import faiss; print(faiss.__version__)"

如果 Faiss 安装报错，大概率是 CPU 版本和系统不匹配。源码里用的是faiss-cpu，不需要 GPU。装完后目录结构大致是data/放样本数据，recall/、rank/、rerank/放各模块代码，config/放配置文件，run.py是入口。

3.2 样本数据格式与生成

源码包里自带了一份模拟数据，在data/sample/下。用户特征文件user_feat.csv的字段包括user_id、age、gender、history_items；物品特征文件item_feat.csv包括item_id、category、author_id、embedding。embedding是 64 维的浮点数组，用逗号分隔。

如果要换成自己的数据，注意两点：一是history_items里的物品 ID 必须在item_feat.csv里存在，否则召回时会报 KeyError；二是embedding的维度必须和模型定义里的item_dim一致，改维度要同步改config/model_config.yaml。

# data/preprocess.py 里的数据校验逻辑 def validate_data(user_df, item_df): item_ids = set(item_df["item_id"]) for _, row in user_df.iterrows(): history = row["history_items"].split(",") missing = [i for i in history if i not in item_ids] if missing: # 把缺失的物品ID从历史里剔除，而不是直接报错 print(f"用户{row['user_id']}的历史中有{len(missing)}个物品缺失") return user_df, item_df

这段校验逻辑很实用，它不直接抛异常，而是打印警告并继续。实际数据里历史物品缺失是常态，直接报错会让流程跑不下去。

3.3 启动训练与推理服务

数据准备好后，先跑训练脚本。粗排和精排是分开训练的：

# 训练粗排双塔模型，指定GPU编号，没有GPU就设-1 python train_coarse.py --config config/coarse_config.yaml --gpu 0 # 训练精排DeepFM，epoch数在配置文件里改 python train_fine.py --config config/fine_config.yaml --gpu 0 # 启动推理服务，默认监听5000端口 python serve.py --port 5000 --recall_topk 500 --coarse_topk 50 --fine_topk 10

训练日志里重点看loss曲线和auc。粗排的 AUC 一般到 0.7 左右就够用，精排要到 0.75 以上。如果 AUC 不涨，先检查特征里有没有泄漏——比如把item_id直接当特征喂进去，模型会记住训练集里的物品，但线上新物品就废了。

4. 避坑与排查：源码跑不通时先看这几条

4.1 召回结果为空：检查 ID 映射表

现象是推理接口返回空列表，日志里召回模块的候选数为 0。原因通常是用户历史里的物品 ID 和物品特征表里的 ID 对不上，比如一个是字符串一个是整数。解决方法是统一 ID 类型，在数据预处理阶段强制转成字符串，并且检查item_feat.csv里有没有重复 ID。

4.2 精排分数全一样：特征没归一化

现象是精排输出的分数几乎相同，排序失去意义。原因是 DeepFM 的输入特征里，数值型特征没有做归一化，比如age范围是 18 到 60，而embedding的值在 -1 到 1 之间，量纲差异太大。解决办法是在fine_rank.py的forward里加一层BatchNorm，或者在数据预处理时对所有数值特征做 Min-Max 归一化。

4.3 服务启动报端口占用：换个端口或杀进程

现象是serve.py启动时报Address already in use。原因是 5000 端口被其他程序占了，常见的是系统自带的 AirPlay 服务。解决方法是换端口--port 5001，或者用lsof -i:5000找到占用进程后 kill 掉。

4.4 训练 loss 不下降：学习率太大或数据没打乱

现象是训练几个 epoch 后 loss 还在初始值附近震荡。原因可能是学习率设成了 0.1 这种大值，或者 DataLoader 的shuffle设成了 False。解决办法是把学习率降到 1e-3 或 1e-4，并确认shuffle=True。源码里默认学习率是 1e-3，如果换了数据集，这个值可能需要再调。

4.5 重排后结果数量不够：强插逻辑吃掉了候选

现象是精排给了 10 个，重排后只剩 6 个。原因是强插新内容时，如果候选池里新内容不足，会跳过而不是用旧内容补位。解决办法是在rerank/config.yaml里把new_item_ratio调低，或者在重排逻辑里加一个兜底：强插不够时用精排分数最高的补上。

5. 进阶技巧：用离线指标快速验证排序策略

源码跑通后，真正的价值在于快速验证策略。我习惯用离线指标做第一轮筛选，而不是直接上线上 A/B。六神算法更新里自带了一个评估脚本eval/offline_eval.py，支持计算 AUC、GAUC、NDCG 和 HitRate。

# eval/offline_eval.py 的核心评估逻辑 def evaluate(model, dataloader, topk=10): model.eval() all_scores, all_labels = [], [] with torch.no_grad(): for batch in dataloader: scores = model(batch["user_feat"], batch["item_feat"]) all_scores.extend(scores.cpu().numpy()) all_labels.extend(batch["label"].cpu().numpy()) auc = roc_auc_score(all_labels, all_scores) # NDCG按用户分组计算，这里简化成全局排序 ndcg = ndcg_score([all_labels], [all_scores], k=topk) return {"auc": auc, "ndcg@{}".format(topk): ndcg}

这个脚本的用法是：改完排序策略后，先跑离线评估，看 AUC 和 NDCG 有没有提升。如果离线指标涨了但线上没涨，大概率是离线评估的数据分布和线上不一致，比如离线用的是历史日志，而线上有新用户。我一般会留一份“最近三天”的数据做验证集，而不是随机切分，这样更接近线上真实分布。

另一个技巧是看 GAUC（分组 AUC），它按用户分组算 AUC 再加权平均，比全局 AUC 更能反映个性化排序的质量。源码里eval/offline_eval.py默认只输出全局 AUC，要算 GAUC 得自己加几行代码：

# 按用户分组算GAUC from collections import defaultdict user_scores = defaultdict(list) user_labels = defaultdict(list) for uid, score, label in zip(user_ids, all_scores, all_labels): user_scores[uid].append(score) user_labels[uid].append(label) gauc_list = [] for uid in user_scores: if len(set(user_labels[uid])) > 1: # 只有正负样本都有的用户才参与 gauc_list.append(roc_auc_score(user_labels[uid], user_scores[uid])) gauc = sum(gauc_list) / len(gauc_list)

GAUC 的坑在于：如果某个用户只有正样本或只有负样本，这个用户没法算 AUC，必须跳过。源码里没处理这个边界，直接算会报错。我踩过一次，后来每次加评估指标都先检查样本分布。

从那以后我每次改完排序策略，都强制走一遍“离线评估 → 小流量验证 → 全量”的流程，再也不敢跳过离线直接上线。希望帮到你。

本文还有配套的精品资源，点击获取