简介：围绕债券违约预测的建模实验资源包，面向金融风控、量化研究与机器学习入门者，完整复现一条可参考的研究流程。作者对截至2017年7月17日前的违约事件进行梳理归因，引入宏观流动性指标构建数据集；通过Lasso回归筛选特征，并分别训练带L2惩罚项的逻辑回归、支持向量机、神经网络、梯度提升树、随机森林等模型。实验结果显示，梯度提升树（GBDT）取得最优预测性能，同时印证特征工程对线性模型效果具有关键影响，两个结论对实际风控建模颇有参考价值。资源共十一个文件，以九个Python脚本为主要内容，覆盖描述性统计、Lasso特征选择、KMV与CoVaR指标计算、样本生成及模型选择等模块，另附研究报告PDF与说明文档，便于按流程复现。压缩包仅3.11MB，轻量实用，目前已有175人学习下载，适合需要系统了解违约预测与特征工程对比的读者。
1. 债券违约预测：Lasso特征提取与GBDT组合为什么值得抄作业
做企业债券违约预警的第一年，最常面对的困境是：财务指标几十个，违约样本却只有三十多个，模型要么过拟合，要么干脆学不到东西。后来拆解一份基于Lasso特征提取和多种机器学习模型的债券违约预测研究，才找到一条靠谱路线——先用Lasso把高维指标压缩到十几个有解释力的核心变量，再用LR、SVM、决策树、随机森林、XGBoost、GBDT六种模型对比。结论明确：GBDT在AUC和召回率上双双领先；更意外的是，Lasso做完特征工程后模型不仅没掉点，泛化反而更稳。这篇笔记适合正在做企业信用评分、债券违约预警，或长期被高维财务特征折磨的建模工程师。
2. Lasso特征提取：从三十多个财务指标里筛出真正有用的变量
2.1 为什么是Lasso，而不是Ridge、PCA或逐步回归
在债券违约预测里，原始特征往往是二十到四十个财务比率：流动比率、速动比率、资产负债率、利息保障倍数、净利润率、ROA、经营现金流占负债比、产权比率、存货周转率、营收增长率，等等。这些特征本身高度相关。流动比率和速动比率都在描述短期偿债能力，资产负债率和产权比率几乎是同一个信息的两种算法。如果把这些特征直接丢进模型，训练速度慢是一方面，更重要的是多重共线性会让线性模型的系数不稳定，树模型的特征重要性也会被稀释——同一份信息被拆成好几个变量，每个变量分到的贡献度都被摊薄了。
Ridge能压缩系数，但不会把它们缩到零。最后拿到的还是一堆小系数，特征集合并没有变少，风控评审会上“为什么这二十几个变量都要入模”的问题依然没法回答。PCA能降维，但主成分是原始特征的线性组合，可解释性几乎为0，风控部门没法接受“第三主成分”这种变量。逐步回归也可以做筛选，但它的搜索过程每一步都看p值，在多重比较环境下p值并不可靠，尤其当特征数量超过样本量的十分之一时，逐步回归很容易选出噪声特征；而且特征如果存在较强的共线性，逐步回归的取舍顺序会非常不稳定，今天留下的特征明天可能就被剔掉。
Lasso把L1正则项加到损失函数上，通过控制惩罚系数lambda，让部分特征的系数精确变零。这个特性在违约预测里特别合适：违约本就是低概率事件，样本量有限，特征维度越高模型方差越大。Lasso在这里不只是特征选择，还相当于给模型做了压缩，把和违约状态相关的信息集中到少数几个变量上。
补充一点边界情况：Lasso在特征间相关性很强时可能会随机在高度相关的两个特征里选一个保留，另一个压成0，所以结果有一定随机性，后面会详细说怎么通过重复估计做稳定性检查。如果特征相关性不强，Lasso的结果和解都非常稳定，这也是它在财务数据里能直接用的前提。如果实测发现Lasso的系数在折间跳动太大，我会改用ElasticNet（L1+L2混合），用L2项把相关特征组平滑一下，选出的变量集合更稳，代价是解释性略降。
2.2 标准化、时序切分与交叉验证选lambda：完整代码
特征选择这一步要小心，顺序错了结果就废了。常见错误是先把数据按时间混在一起标准化，再做随机切分。债券数据的样本在时间维度上高度相关——同一家公司在相邻年份的财务指标是平滑变化的，随机切分会让同一主体的数据同时出现在训练集和测试集里，模型等于提前“见过”测试数据。我一般这样处理：
import numpy as np import pandas as pd from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LassoCV from sklearn.model_selection import TimeSeriesSplit # 先按发行时间排序，保证训练集时间上早于测试集 df = df.sort_values('issue_date').reset_index(drop=True) feature_cols = df.columns.difference(['bond_id', 'default_flag', 'issue_date']) X = df[feature_cols].values y = df['default_flag'].values # 按时间切分：前70%训练，后30%测试 split_idx = int(len(df) * 0.7) X_train, X_test = X[:split_idx], X[split_idx:] y_train, y_test = y[:split_idx], y[split_idx:] # 标准化：只在训练集上fit，再transform测试集 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) # LassoCV内部再做一次时间序列交叉验证来选alpha tscv = TimeSeriesSplit(n_splits=5) lasso = LassoCV( cv=tscv, alphas=np.logspace(-3, 1, 100), # alpha从0.001到10，取100个对数均匀值 max_iter=100000, random_state=42 ) lasso.fit(X_train_scaled, y_train) # 保留系数非零的特征 nonzero_mask = lasso.coef_ != 0 selected_features = feature_cols[nonzero_mask] print(f'原始特征数: {len(feature_cols)}') print(f'Lasso保留特征数: {len(selected_features)}') print(f'最优lambda: {lasso.alpha_:.4f}')这段代码有三个地方值得展开。第一个是排序和切分：先按发行日排序，再取前70%作为训练集、后30%作为测试集，保证测试集在时间上严格晚于训练集。第二个是标准化：StandardScaler只在训练集上fit，测试集只做transform，否则测试集的均值方差会泄露到训练流程里，评估指标会被污染。第三个是alphas的取值：np.logspace(-3, 1, 100)生成从0.001到10的对数均匀序列，覆盖从“几乎不压缩”到“强烈压缩”的完整区间，LassoCV会按交叉验证得分自动挑出最优值。
另外一个很容易被忽略的点：缺失值填充的顺序。财务数据里有相当比例的缺失值，我的习惯是用中位数填充，因为财务比率常有极端值，均值容易被拉偏。填充必须在切分之后做，用训练集的中位数去填测试集，和标准化的逻辑一致。如果把全量的均值和方差拿来填充，同样会引入泄漏，Lasso选出来的特征集合会被“未来信息”污染。
LassoCV的alpha_属性直接给出最优惩罚系数。但注意，LassoCV用的是时序交叉验证，在样本量不大时alpha的选择有一定波动。我一般会把交叉验证折数从5调到10，让alpha的选取更稳定；如果数据量本身不大，折数控制在5比较合适。观察最优alpha也有诊断价值：如果alpha接近0.001（几乎不压缩），说明变量和违约的相关性偏弱，或者样本量不足以支撑正则化；如果alpha接近10（所有系数被强力压掉），优先检查是不是标准化环节出了问题。
2.3 特征选择结果：哪些变量活下来了
跑完LassoCV之后，在这个债券数据集上，原始四十个左右的财务指标会留下十几个。被保留下来的变量通常落在几个基本面维度上：杠杆水平（资产负债率、产权比率）、偿债能力（利息保障倍数、经营现金流比总负债）、盈利能力（净利润率、ROA）、流动性（流动比率、速动比率）。而一些相对边缘的指标——比如存货周转率、营收增长率、总资产周转率——系数往往被压到0。
需要注意：被Lasso剔除不代表和违约无关。存货周转率对制造业违约是有指示作用的，但在这个数据里它和流动比率、净利润率高度相关，Lasso认为前者的信息已经被后者覆盖，于是把系数置0。这正是Lasso和单变量筛选的本质区别：它衡量的是条件贡献，不是边际相关性。
拿到特征列表之后，我建议做一次符号检查。资产负债率系数应该是正的，杠杆越高风险越大；利息保障倍数系数应该是负的，覆盖利息的能力越强越安全。如果某个系数的方向和财务直觉相反，优先怀疑数据质量，不要急着调参数。我踩过一次：产权比率系数为负，查了半天发现一堆企业当年亏损导致净资产为负，产权比率这个分母本身失真了，清洗掉异常样本之后再跑，方向就正常了。
Lasso还有一个比较棘手的问题：在特征共线性很强的区域，它对数据扰动比较敏感，换一折数据选出来的特征集合会有变化。我一般会把LassoCV放进一个循环里跑10次，每次用不同的随机种子，统计每个特征被选中的频率。选中频率超过80%的变量可以视为核心特征，这部分特征后面进模型更稳定。
3. 六模型横评：从LR到GBDT，谁在违约预测上最能扛
3.1 实验协议：时间外验证与不均衡评估指标
特征工程完成后，接下来要回答的核心问题是：哪个模型最适合债券违约预测？我选了六种有代表性的模型——逻辑回归、SVM（线性核）、决策树、随机森林、XGBoost、GBDT。选择逻辑是每一类模型在信用风险领域都有应用基础。LR是风控行业的基线基准，线性结构提供了良好的可解释性；SVM曾在信用评分数据集上表现优异，尤其适合小样本高维场景；决策树和随机森林构成树类模型的入门与延伸；XGBoost和GBDT是当前表格数据的主流选择。
评估上我只承诺一个原则：不用随机K折。债券违约样本的时间相关性很强，随机切分必然导致未来数据混进训练集，模型指标虚高。这里采用前70%训练、后30%测试的时间外划分。指标方面，只看准确率是不够的，违约样本在数据里通常是少数，准确率可能直接被“全预测为正常”的基线拉到95%以上。重点看三个：AUC（曲线下面积）、召回率（违约样本有多大比例被识别出来）、特异度（正常样本被误伤的比例）。对风控落地来说，召回率比准确率更有现实意义——漏掉一笔实质性违约的代价远大于误伤一笔正常债券。
3.2 六个模型的训练代码与关键参数
这一部分给出核心代码骨架。特征统一使用Lasso筛选出来的精简特征集，标准化照旧只在训练集上做。上一步末尾加一行X_train_lasso = X_train_scaled[:, nonzero_mask]，然后所有模型都在这个精简后的特征矩阵上训练。
from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier from xgboost import XGBClassifier from sklearn.metrics import roc_auc_score, recall_score, confusion_matrix models = { 'LR': LogisticRegression(C=0.1, max_iter=1000, class_weight='balanced'), 'SVM': SVC(kernel='linear', C=1.0, probability=True, class_weight='balanced'), 'DT': DecisionTreeClassifier(max_depth=5, min_samples_leaf=10, class_weight='balanced'), 'RF': RandomForestClassifier(n_estimators=200, max_depth=8, min_samples_leaf=5, class_weight='balanced', random_state=42), 'XGBoost': XGBClassifier(n_estimators=200, max_depth=4, learning_rate=0.1, subsample=0.8, colsample_bytree=0.8, scale_pos_weight=2.5, random_state=42), 'GBDT': GradientBoostingClassifier(n_estimators=200, max_depth=3, learning_rate=0.05, subsample=0.8, random_state=42) } results = [] for name, model in models.items(): model.fit(X_train_lasso, y_train) y_proba = model.predict_proba(X_test_scaled[:, nonzero_mask])[:, 1] y_pred = model.predict(X_test_scaled[:, nonzero_mask]) auc = roc_auc_score(y_test, y_proba) recall = recall_score(y_test, y_pred) tn, fp, fn, tp = confusion_matrix(y_test, y_pred).ravel() specificity = tn / (tn + fp) if (tn + fp) > 0 else 0 results.append({'model': name, 'auc': auc, 'recall': recall, 'specificity': specificity}) results_df = pd.DataFrame(results).sort_values('auc', ascending=False) print(results_df)参数设定的几个逻辑要说明。C=0.1：逻辑回归的C是正则强度的倒数，C小意味着正则强，在特征维度高但样本少的情况下，强正则能压低方差。SVC里的probability=True让SVM输出预测概率，计算AUC时必需。class_weight='balanced'直接给少数类样本更高的权重，在违约样本占比很低时避免模型把所有样本都预测为正常，这个设置在LR、SVM、DT、RF里都适用。XGBoost这边用scale_pos_weight=2.5来放大约2.5倍的违约类损失权重，这是XGBoost处理不平衡数据的原生参数，比手工重采样更可控，因为重采样在时序数据里容易把未来样本的分布打乱。
树模型的深度统一限制在3到8之间。债券违约预测的特征关系不是特别深，给太深的树很容易记住噪声样本。GBDT用了learning_rate=0.05配合200轮迭代，学习率低一点、迭代多一点，比反过来更稳。RF和GBDT里的subsample=0.8是每棵树随机抽80%样本，增加多样性，减小过拟合风险。
这里有一个容易被问到的点：为什么SVM选了线性核而不是RBF核？RBF核在样本量小的场景容易过拟合，而且RBF核把数据映射到无限维空间之后，几乎无法解释任何一个预测结果。对债券违约这种需要向风控委员会交代理由的场景，线性核的SVM至少每个特征贡献方向是清晰的。此外在违约样本极少（几十个）的情况下，RBF核的SVM参数C和gamma的联合搜索非常容易钻到噪声里，线性核反而更稳。
3.3 结果解读：GBDT为什么能赢
在这个数据集上，AUC排序大致是：GBDT最高，XGBoost紧随其后只差零点几个百分点，随机森林居中，LR和SVM约在0.80上下，决策树最差。召回率维度，GBDT也是第一。
GBDT优势的来源有两个。第一个是它对特征交互的建模。违约不是单个指标的直接函数，而是多个财务指标的交互作用——高杠杆叠加低现金流覆盖才是典型的违约画像。LR很难刻画这种交互，除非手工构造交互特征。线性核的SVM本质上也是只建模线性关系。随机森林虽然能捕捉交互，但它是通过很多棵树的平均来做预测，“平均”会钝化一些极端状态的判别力。GBDT是逐步拟合残差，每一步都在修正前一轮的预测错误，对“某一个截面指标组合非常危险”这种情况有更好的分辨力。
第二个优势在于它对特征工程的包容性。Lasso筛选出的特征时间口径差异很大：有的指标是存量口径（资产负债率），有的是流量口径（净利润率、经营现金流），量纲差异巨大。树模型对量纲不敏感，GBDT可以容忍这种尺度差异，省去了大量指标同量纲化的工作。XGBoost本质上和GBDT同源，表现接近但略逊，主要原因是这个数据规模相对较小，XGBoost更复杂的正则参数和内置优化在这种温和规模下没有拉开差距，反而在部分折上略欠拟合。
我个人在这个数据集上做过一次补充实验：把被Lasso剔除的“非核心”特征加回GBDT，AUC反而掉了一个点。这印证了特征工程的重要性——噪声特征增加了树的搜索空间，让GBDT在有限迭代次数内更容易走偏。这也是整个实验里“特征工程比模型选择更关键”的直接证据。
4. 避坑指南：五个把模型分数拉低的翻车现场
4.1 随机打乱数据导致时序泄漏，AUC虚高到0.95
现象：一开始图省事，直接用了train_test_split(shuffle=True)做随机划分，GBDT在测试集上AUC做到了0.95，远超合理水平。当时还以为是模型调参调得好。
原因：债券数据的同一主体在不同年份的数据点被随机分到了训练集和测试集。GBDT的树结构可以“记住”训练集中出现过的主体特征，当该主体相隔一年的数据出现在测试集时，模型捕获的是主体身份而不是违约风险信号。
解决：改成按时间切分，前70%训练后30%测试，并且保证主体的所有观测按时间归入同一侧。AUC回落到0.88附近。从那以后凡是带时间戳的数据，我强制用TimeSeriesSplit或自定义的时间界限切分。
4.2 在Lasso前忘做特征标准化，选出来的特征集合不可复现
现象：同一份数据，隔天再跑一次LassoCV，选出来的特征集合完全不同，而且系数符号不稳定。
原因：Lasso的惩罚项对特征尺度敏感。资产负债率的量纲是0到1，营收增长率的量纲可能是-0.5到5，经营现金流比负债可能是-10到10，如果没标准化，Lasso会倾向惩罚量纲大的变量，特征选择结果被量纲支配，而不是由变量和违约的相关性支配。两次运行之间哪怕极小数值扰动也会改变结果。
解决：StandardScaler必须放在Lasso之前，并且只在训练集上fit。标准化后Lasso的特征选择结果呈现明显稳定的规律，核心特征的选中频率稳定在80%以上。
4.3 对极不平衡数据不加处理，直接把“全不违约”当基线
现象：LR和SVM的准确率高达95%——因为数据里95%是正常样本，模型学到的策略就是全预测为“正常”。AUC看起来还行，但违约召回率几乎为0。
原因：损失函数在样本不均衡时被多数类主导。如果数据中违约占5%，那么全预测为正常就能把95%样本猜对，模型没有动力去冒险预测违约。
解决：三种做法都试过。一是class_weight='balanced'或者scale_pos_weight直接调权重；二是对少数类做SMOTE过采样，但注意过采样的时机必须在时间切分之后，否则制造的合成样本会把未来信息混合进去；三是调整判定阈值，不要用默认0.5，而是根据验证集上“召回率-特异性”的权衡曲线重新选择。多数场景下调权重比做过采样简单，而且可复现性更好。
4.4 测试集上做标准化或缺失值填充，指标被“未来信息”抬高
现象：模型训练AUC 0.85，测试AUC 0.91，反而是“测试比训练还好”，怎么解释都对不上。
原因：处理流程里先用全量数据fit了StandardScaler，再对训练集和测试集分别做transform。虽然测试集标签没泄露，但全量数据的均值和方差在训练阶段已经包含了测试集的统计量。缺失值填充同理，用全量中位数填充，测试集的信息提前进入了模型流程。
解决：严格遵循“训练集fit，测试集transform”原则。缺失值填充同样先拟合训练集的中位数，再填充测试集。从流程固定下来的那天起，我不再允许自己对全量数据做任何统计运算。
4.5 调参只盯验证集AUC，把样本外数据提前“污染”了
现象：某轮调参把GBDT的max_depth从3改到7，验证集AUC涨了0.02，但预留的样本外AUC反而掉了0.03。
原因：验证集和测试集在时间上跨度过长，直接把验证集当测试集反复调参，模型已经在验证集上过拟合了。验证集每看一次，人工调参就相当于多了一次拟合；调参轮次一多，验证集也变成训练集的一部分。
解决：把数据切成三段：训练、验证、样本外测试。训练和验证用来调参，样本外数据只在模型完全定稿后跑一次。样本外数据一旦动过，就不能再作为评估依据。
5. 落地验证：特征重要性、SHAP分析与时间外复核
模型定稿前，我会做三个验证动作，把GBDT从“实验里跑得最好”变成“风控部门敢用”。
第一个动作是特征重要性排序。GBDT自带feature_importances_，最终排序大致是利息保障倍数、资产负债率、经营现金流比负债、净利润率、流动比率。关键不是看模型“用了什么”，而是和Lasso筛选结果交叉印证。如果Lasso筛出的核心特征在GBDT重要性里排不到前面，说明特征工程链路有问题，要回头查数据。
第二个动作是SHAP分析。feature_importances_只给全局排序，SHAP能落到单个样本，显示每个特征把预测往违约方向推了多少。我在典型违约样本上检查SHAP值，贡献最大的还是利息保障倍数过低，其次是经营现金流为负。SHAP散点图还有一个规律：单个负向指标贡献有限，往往是两三个负向指标同时出现，预测概率才骤然抬升，这正好解释了GBDT为什么强于线性模型。
第三个动作是时间外样本复核。把数据按时间切三段：前50%训练，中间20%验证调参，最后30%预留为真正的样本外测试。调参只能在验证集上评估，最后30%只在模型完全定稿后跑一次。最终样本外AUC稳定在0.85到0.88之间，相比验证集没有明显回撤，稳定性过关。
提一个我亲身踩过的坑。有轮调参为了让验证集AUC从0.85涨到0.87，把GBDT的max_depth从3改到7，验证集确实涨了，但样本外AUC反而从0.86掉到0.83。那个方案直接被我丢弃。从那以后，每次调参我都把最后一截样本外数据当“裁判”备着，只在最终环节用一次。希望这条习惯也能帮你在债券违约预测这条路上少走几步弯路。
本文还有配套的精品资源，点击获取
