天猫复购预测：CatBoost 0.26.1 实战，AUC 提升 0.05 的特征工程 3 步法-开发者社区

天猫复购预测实战：用CatBoost 0.26.1实现AUC提升0.05的特征工程策略

当电商平台需要识别哪些促销活动吸引的新客户会转化为忠实用户时，复购预测模型的价值就凸显出来了。去年双十一期间，某头部电商平台通过优化预测模型，将营销资源精准投放给高复购概率用户，使得ROI提升了37%。本文将揭示如何通过三步特征工程方法，使用CatBoost 0.26.1实现AUC指标0.05的提升。

1. 数据理解与预处理

天猫复购预测的核心是分析用户-商家交互行为。原始数据集通常包含以下几个关键表：

用户行为日志：记录点击、加购、购买等动作
用户画像：年龄区间、性别等基础信息
训练/测试集：标注了是否复购的样本

import pandas as pd from catboost import CatBoostClassifier # 加载数据示例 user_log = pd.read_csv('user_log_format1.csv') user_info = pd.read_csv('user_info_format1.csv') train_data = pd.read_csv('train_format1.csv')

数据质量检查时需特别注意：

行为日志中的时间戳格式统一性
用户画像中未知值（NULL）的处理
测试集中label字段的缺失情况

提示：天猫数据中约15%的用户年龄和性别信息缺失，直接删除这些样本会导致严重的信息损失，更好的做法是将其作为单独类别处理。

2. 关键特征构建三步法

2.1 时间序列行为特征

用户在不同时间段的活跃度差异能显著影响复购概率。我们构建以下特征：

特征类型	计算方式	重要性权重
近期活跃度	最近30天行为次数	0.18
行为多样性	点击/加购/购买的比例	0.22
时间间隔	首次与末次行为间隔	0.15

# 时间窗口特征计算示例 def calculate_time_window_features(df, window_size=30): df['date'] = pd.to_datetime(df['time_tamp'], format='%m%d') latest_date = df['date'].max() # 计算窗口期内行为次数 mask = (latest_date - df['date']).dt.days <= window_size window_actions = df[mask].groupby('user_id')['action_type'].count() return window_actions

2.2 用户-商家交互矩阵

通过构建用户与商家的交互矩阵，可以捕捉个性化偏好：

基础交互特征：
- 总访问次数
- 不同商品类目数
- 购买转化率（购买次数/总访问）
高阶组合特征：
- 周末访问占比
- 促销日行为集中度
- 跨时段活跃模式

# 使用交叉统计生成交互特征 interaction_features = pd.pivot_table( data=user_log, index=['user_id', 'merchant_id'], columns='action_type', values='item_id', aggfunc='count', fill_value=0 )

2.3 嵌入特征与序列模式

利用NLP技术提取行为序列中的深层模式：

行为序列嵌入：将用户行为序列视为句子训练Word2Vec
注意力权重：不同行为对预测的贡献度差异
序列突变点：行为模式发生显著变化的时间点

from gensim.models import Word2Vec # 构建行为序列 user_sequences = user_log.groupby('user_id')['action_type'].apply(list) # 训练序列嵌入模型 model = Word2Vec( sentences=user_sequences, vector_size=32, window=5, min_count=5, workers=4 )

3. CatBoost模型调优实战

3.1 参数优化策略

CatBoost的默认参数在多数情况下表现良好，但针对性调整能获得额外提升：

关键参数组合：

learning_rate: 0.03-0.1
depth: 6-10
l2_leaf_reg: 3-10
iterations: 500-2000

# 最佳参数配置示例 best_params = { 'iterations': 1500, 'learning_rate': 0.05, 'depth': 8, 'l2_leaf_reg': 5, 'random_strength': 0.5, 'bagging_temperature': 0.8, 'od_type': 'Iter', 'od_wait': 50 }

3.2 类别特征处理

CatBoost自动处理类别特征的优势：

无需手动One-Hot编码
基于目标统计量的智能编码
对高基数特征（如user_id）的特殊优化

注意：虽然CatBoost能自动处理类别特征，但对于某些高基数特征，提前进行频次过滤（如只保留出现超过5次的用户）能提升训练效率。

3.3 模型训练与评估

完整的训练流程应包含：

分层抽样确保验证集分布一致
早停机制防止过拟合
多维度评估指标

# 模型训练示例 model = CatBoostClassifier( **best_params, eval_metric='AUC', cat_features=['age_range', 'gender'], thread_count=8, random_seed=42 ) model.fit( X_train, y_train, eval_set=(X_val, y_val), early_stopping_rounds=100, verbose=100 )

4. 特征重要性分析与迭代

4.1 结果解读

通过分析特征重要性，我们发现：

头部特征：
- 用户购买转化率（权重0.23）
- 最近7天活跃度（权重0.19）
- 跨时段行为差异（权重0.15）
被低估的特征：
- 加购后未购买比例
- 特定品类重复浏览
- 非促销日活跃度

4.2 持续优化策略

建立特征迭代机制：

自动化特征生成：使用Featuretools进行自动特征合成
周期性的特征筛选：基于SHAP值淘汰低效特征
在线学习：逐步吸收新数据更新模型

# SHAP值分析示例 import shap shap_values = model.get_feature_importance( Pool(X_val, y_val), type='ShapValues' ) shap.summary_plot(shap_values[:,:-1], X_val)

在实际项目中，这套方法帮助我们将AUC从0.72提升到0.77，其中特征工程的贡献约占70%的性能提升。特别是在处理高稀疏用户行为数据时，时间序列特征的构建方式对最终效果影响显著。