简介:面向金融风控、数据挖掘方向学习者与毕业设计人员,这份基于Python实现的中原银行个人贷款违约预测资源围绕如何利用银行存量信贷数据服务新场景、新客群的赛题展开,以迁移学习为主要思路,适合课程设计、项目演示或入门进阶。资源共九个文件,压缩包仅三百一十一KB,包含六个Python脚本、两个CSV数据集和一个Markdown说明文档;py脚本负责数据清洗、特征构建与预测建模,csv提供测试样本与提交格式,md阐述项目背景和使用方式;源码覆盖清洗、特征、建模等完整流程,特征构建细分为类别特征、时间特征、数值编码等多个子模块,并配有公开测试集样例和提交示例,便于直接运行复现。作者提供远程教学支持,运行中遇到问题可私信沟通;代码经测试通过,答辩评审平均分达九十六分,整体方案可作个人贷款违约预测全流程参考。目前已有九十八人学习下载,结合附带的说明文档可快速理解项目结构,适合借鉴完整建模流程的读者参考学习。
1. 基于python实现的中原银行个贷违约预测:模型不是难点,数据治理才是
基于python实现的中原银行个贷违约预测,是我见过最适合当信贷风控入门样例的项目类型——它自带源代码、文档说明和数据集,你不需要从零搭框架,而是把整条链路亲手走一遍:读数据、补缺失、分箱、建模、调阈值。很多人拿到项目先急着跑模型,跑完发现AUC只有0.6,就把锅甩给代码。实际上个贷违约预测最花时间的是进模型之前的数据治理,以及最后一步怎么把违约概率翻译成业务决策。这个项目适合三类人:想入行银行风控的算法工程师、做金融信贷场景毕设的学生、以及想了解评分卡落地逻辑的业务分析师。本文按我自己的实操顺序展开,每一步都有可复现代码和参数说明。
2. 拿到数据集先别跑模型:字段识别、缺失值与数据泄漏
2.1 先读文档说明,再做字段来源审计
任何个贷项目的数据集到手,第一步不是df.head(),而是打开配套的文档说明,把每个字段的来源时点标清楚。我在处理类似项目时发现,数据集里通常会混着两种变量:一类是授信前变量(申请时点就能拿到的年龄、收入、职业、贷款金额、历史征信记录),另一类是贷中或贷后变量(还款逾期天数、催收次数、已还款比例)。后者在建模阶段是绝对禁区,因为线上部署时你根本拿不到未来才发生的信息,一旦混进去,训练集AUC能到0.95,真实场景直接崩盘。
import pandas as pd df = pd.read_csv("loan_data.csv", encoding="gbk") print(df.shape) print(df.columns.tolist()) # 按文档说明给字段打上来源标签,后续建模只保留授信前变量 pre_loan_vars = ["age", "income", "loan_amt", "loan_term", "credit_score", "debt_ratio", "purpose", "region"] label = "default_flag" # 先验证这些字段都在数据里,避免后续KeyError missing_cols = [c for c in pre_loan_vars + [label] if c not in df.columns] if missing_cols: print("字段缺失:", missing_cols) else: print("授信前变量核对通过,共", len(pre_loan_vars), "个特征")这段代码的核心价值是特征白名单机制。我在多个风控项目里吃过亏:数据集字段名不规范时,模型训练完才发现用了未来变量,这种错误在代码层面极难发现,只能靠字段清单硬约束。encoding="gbk"是读取银行导出数据的常见编码,如果报错就换成utf-8或gb18030。拿到数据后建议先打印字段列表人工过一遍,任何一个名字里带overdue、collection、return的变量都要警惕。
2.2 缺失率统计与填补顺序:先补还是先删,顺序错了全白搭
个贷数据的缺失处理有个默认优先级:先看缺失率,再决定策略。我一般把缺失率分成三档:大于50%的字段直接删除,20%到50%的看业务含义决定是否保留,低于20%的做填补。这个规则不绝对,但作为起点能避免两个极端——把高缺失字段硬填进去制造噪声,或者把有强解释力的字段因为一处空值就整列删掉。
import numpy as np miss_rate = df.isnull().mean().sort_values(ascending=False) print("缺失率Top10:\n", miss_rate[miss_rate > 0]) # 处理策略:缺失率>50%直接删列,其余字段统一标记后填补 drop_cols = miss_rate[miss_rate > 0.5].index.tolist() df = df.drop(columns=drop_cols) print("删除高缺失字段:", drop_cols) # 数值型字段用中位数填补,类别型字段用众数填补 num_cols = df.select_dtypes(include=[np.number]).columns cat_cols = df.select_dtypes(include=["object"]).columns for col in num_cols: df[col] = df[col].fillna(df[col].median()) for col in cat_cols: df[col] = df[col].fillna(df[col].mode()[0]) print("填补完成,剩余缺失率:", df.isnull().sum().sum())这里的关键参数是中位数而不是均值。收入、贷款金额这类字段天然右偏,个别高净值客户会把均值拉得很高,用均值填补等于给所有缺失样本注入一个虚高的收入值,模型学到的收入阈值全是偏的。中位数对极值不敏感,是信贷字段填补的默认选项。类别字段用众数填补,但要注意如果某个类别占据80%以上,填补后这个字段几乎失去区分能力,后续IV筛选会把它过滤掉,所以也不用太担心。
异常值处理放在缺失值之后。年龄大于100、收入为负数、贷款金额小于0这类脏数据,直接用布尔索引剔除。我不建议用3σ原则自动删,因为信贷数据天生厚尾,3σ会误伤真实的高收入群体,逻辑判断比统计判断更安全。
3. 特征工程链:分箱、WOE编码与IV值筛选
3.1 连续变量分箱:等宽、等频与决策树辅助
分箱是整个特征工程里最体现功力的环节,目的是把连续变量离散化,降低异常值和噪声的影响,同时为后面的WOE编码打基础。三种做法我全试过:等宽分箱实现最简单,但遇到年龄这种分布不均的字段,20到40岁可能挤了60%的样本,箱内违约率没有明显梯度;等频分箱保证每箱样本量接近,但边界值可能出现在很怪的位置,比如月收入分箱边界是13542.7元,业务解释很尴尬;决策树辅助分箱效果最好,用单变量决策树拟合违约标签,直接把树的分裂点当作箱边界,再用业务常识微调。
from sklearn.tree import DecisionTreeClassifier def tree_bins(series, y, max_bins=5): """用单变量决策树找连续变量的最优分箱边界""" model = DecisionTreeClassifier(max_leaf_nodes=max_bins, random_state=42) model.fit(series.values.reshape(-1, 1), y) thresholds = model.tree_.threshold[model.tree_.feature != -2] thresholds = sorted(set([round(t, 2) for t in thresholds if t != -2])) return [-np.inf] + thresholds + [np.inf] # 以income字段为例生成分箱边界 bins = tree_bins(df["income"], df["default_flag"], max_bins=5) df["income_bin"] = pd.cut(df["income"], bins=bins, labels=False) print("income分箱边界:", bins) print("各箱样本量:\n", df["income_bin"].value_counts().sort_index())max_leaf_nodes控制分箱数量,我建议设置在4到6之间,太细会导致某些箱的违约样本量太少,WOE值不稳定;太粗会丢失变量的非线性信息。决策树分箱的好处是边界直接从数据里长出来,比如模型发现收入低于8000元违约率显著上升,这个8000就是业务认可的真实阈值,而不是等宽分箱拍脑袋定的10000。分箱完成后建议逐箱看违约率,正常情况下违约率应该随收入上升单调下降,如果出现U型曲线,说明分箱边界有问题或者变量本身有交互项没处理。
3.2 WOE编码替代one-hot:为什么风控项目都这么干
WOE(Weight of Evidence)编码是信贷风控的标配,原因很简单:one-hot在类别多的时候会产生大量稀疏列,逻辑回归的系数会变得非常难解释;而WOE把每个类别替换成该类别违约分布与正常分布的对比值,直接把类别特征变成有序的数值特征,而且数值大小本身就带着业务含义。
def calc_woe(df, feature, label="default_flag"): """计算单特征每个分箱的WOE值""" stats = df.groupby(feature)[label].agg(["sum", "count"]) stats.columns = ["bad", "total"] stats["good"] = stats["total"] - stats["bad"] total_bad = stats["bad"].sum() total_good = stats["good"].sum() stats["bad_pct"] = stats["bad"] / total_bad stats["good_pct"] = stats["good"] / total_good # 加0.5平滑,防止某箱bad或good为0时取对数无穷 stats["woe"] = np.log((stats["bad_pct"] + 0.5) / (stats["good_pct"] + 0.5)) return stats["woe"] # 对收入分箱字段计算WOE并替换原值 woe_map = calc_woe(df, "income_bin") df["income_woe"] = df["income_bin"].map(woe_map) print("各箱WOE值:\n", woe_map)WOE公式里我加了0.5平滑因子,这是血泪经验:极端的类别分箱下,如果某一箱只有3个样本且全部违约,bad_pct会是1,good_pct接近0,直接取对数会出现无穷大。平滑因子降低了这种小样本噪声对模型的影响。WOE计算完成后,原始字段可以删除,因为分箱信息和违约分布信息已经被WOE值完全吸收。注意WOE的一个隐含假设:每个箱的违约率与正常率之比是单调的,如果某特征WOE值来回跳动,说明分箱不合理或者变量本身与违约是非线性关系,需要考虑换特征或做交互项。
3.3 用IV值过滤弱特征:0.02、0.1、0.3三档阈值
IV(Information Value)是WOE的加权汇总,衡量一个特征对违约状态的区分能力。它是风控项目里筛特征的硬标准,比直接看模型feature_importance更前置、更稳定。严格意义上传入WOE计算结果用求和形式就可以了。
def calc_iv(df, feature, label="default_flag"): """基于WOE计算IV值""" stats = df.groupby(feature)[label].agg(["sum", "count"]) stats.columns = ["bad", "total"] stats["good"] = stats["total"] - stats["bad"] total_bad = stats["bad"].sum() total_good = stats["good"].sum() stats["bad_pct"] = stats["bad"] / total_bad stats["good_pct"] = stats["good"] / total_good # 这里直接用原始占比差乘WOE,不需要额外加平滑 stats["iv"] = (stats["bad_pct"] - stats["good_pct"]) * \ np.log((stats["bad_pct"] + 1e-10) / (stats["good_pct"] + 1e-10)) return stats["iv"].sum() iv_values = {} for col in ["age_bin", "income_bin", "credit_score_bin", "debt_ratio_bin", "purpose_woe"]: # 有些已经做了WOE编码,直接用编码值分组 iv_values[col] = calc_iv(df, col) iv_series = pd.Series(iv_values).sort_values(ascending=False) print("各特征IV值:\n", iv_series)IV筛选的通常标准:小于0.02的变量基本没有区分能力,直接丢弃;0.02到0.1之间属于弱变量,可以留着让模型自己去组合;0.1到0.3属于中等偏强变量,是模型的主力;大于0.3的变量要特别小心,它可能是真实的高区分度变量,但更可能是前文说的数据泄漏来源,需要回头核对字段来源。我在跑这类数据集时,credit_score通常是IV最高的字段,因为征信评分本身就是模型输出的概率,用它预测违约本质上是拿结果预测结果,不算完全错误,但要看清楚数据集里这个字段的评分时点是否早于贷款发放。
4. 模型选型与效果评估:从LR到XGBoost的参数调优
4.1 逻辑回归和XGBoost的选型逻辑
个贷违约预测里,逻辑回归(LR)和XGBoost是两个极端。LR的优势是系数可以翻译成业务语言——年龄每增加一岁,违约对数几率降低多少;部署也轻,一个线性表达式就能上线,连模型文件都不需要。XGBoost的优势是能自动捕捉特征交互,比如“收入低于阈值且负债率高”这种组合风险特征,LR要手动构造交互项才能学到,XGBoost的树结构天然就能分出来。我的做法是两套都训,先用LR出基线,再上XGBoost追AUC上限。
from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split # 特征矩阵:注意这里全部用WOE和分箱后的字段 feature_cols = ["income_woe", "age_woe", "credit_score_woe", "debt_ratio_woe", "purpose_woe", "loan_amt_woe"] X = df[feature_cols] y = df["default_flag"] X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, stratify=y, random_state=42 ) lr = LogisticRegression(C=0.1, max_iter=1000) lr.fit(X_train, y_train) print("LR训练完成,特征系数:") for col, coef in zip(feature_cols, lr.coef_[0]): print(f" {col}: {coef:.4f}")C=0.1是逻辑回归的正则化强度,值越小正则越强。在风控场景里我倾向把C调低,因为信贷特征之间相关性高,正则太小系数会爆炸,线上部署时微小输入波动就会被放大。stratify=y保证训练集和验证集的违约比例一致,这是分类任务的默认操作。逻辑回归对特征尺度敏感,这也是前面坚持做WOE编码的原因——WOE值天然在0附近波动,尺度统一,不需要额外做StandardScaler。
XGBoost那边参数就要复杂一些。我常用的起始参数组是:n_estimators=300、learning_rate=0.05、max_depth=3、subsample=0.8、colsample_bytree=0.8、reg_alpha=0.1。这个组合的核心思路是低学习率配多轮迭代避免过拟合,max_depth=3在大多数表格型信贷数据上够用了,深度再大容易学到噪声和极端样本。reg_alpha和reg_lambda是XGBoost的正则化参数,前者做L1稀疏化会自动裁掉部分弱特征,后者做L2防抖动,两者同时开是风控调参的常见做法。
4.2 样本不均衡:class_weight和scale_pos_weight怎么设
个贷数据集的违约率通常在2%到5%之间,意味着负样本是正样本的20倍以上。如果不管这个不均衡,模型会把所有样本都预测为正常,准确率依然高达95%,但这毫无用处。Python生态里处理这个问题有几条路:逻辑回归可以直接设class_weight="balanced",让sklearn自动调整类别权重;XGBoost对应的是scale_pos_weight参数,最简单好记。通常设成负样本数除以正样本数就能得到一个合理起点。
from xgboost import XGBClassifier # 计算类别比例,scale_pos_weight通常取负样本/正样本 neg_count = (y_train == 0).sum() pos_count = (y_train == 1).sum() scale_pos_weight = neg_count / pos_count print("正负样本比:", f"正{pos_count} 负{neg_count}", "scale_pos_weight:", round(scale_pos_weight, 2)) xgb = XGBClassifier( n_estimators=300, learning_rate=0.05, max_depth=3, scale_pos_weight=scale_pos_weight, subsample=0.8, colsample_bytree=0.8, reg_alpha=0.1, random_state=42 ) xgb.fit(X_train, y_train) print("XGB训练完成")scale_pos_weight的取值逻辑并不精确,有人在2%违约率的数据集上把值调到10以上反而更好,原因是这个参数不只是平衡样本,还隐含了对召回率的偏好。我的习惯是先按比例设一个值跑出基线,然后网格搜索一个范围——通常是比例值的0.5倍、1倍、2倍三档,看验证集KS和召回率哪个组合更稳。另外提一句:做XGB之前不用先做SMOTE,scale_pos_weight本身就能处理不均衡,两者叠加容易过拟合,我实际项目中很少同时用。
4.3 用AUC、KS和PR-AUC评估:准确率在这里是陷阱
个贷场景下准确率是最没参考价值的指标。1000个样本里20个违约,模型把所有人判正常,准确率98%,但这个模型毫无用处。风控行业看三样东西:AUC衡量模型对正负样本排序能力,数值越高说明违约客户的风险分数越靠后;KS衡量模型区分度,风控模型KS一般要求大于0.3;PR-AUC(精确率-召回率曲线下面积)在极端不均衡数据里比ROC更敏感,因为它直接关注少数类的表现。
from sklearn.metrics import roc_auc_score, precision_recall_curve, auc # 先看预测分数分布,确认模型输出的不是纯0/1 y_prob = xgb.predict_proba(X_test)[:, 1] print("预测分数分布: min =", round(y_prob.min(), 4), "max =", round(y_prob.max(), 4), "mean =", round(y_prob.mean(), 4)) # AUC auc_score = roc_auc_score(y_test, y_prob) print("AUC:", round(auc_score, 4)) # KS:按分数排序,找累计正负样本比例差的最大值 fpr_list, tpr_list = [], [] thresholds = np.linspace(0, 1, 100) for t in thresholds: pred = (y_prob >= t).astype(int) tpr = np.sum((pred == 1) & (y_test == 1)) / np.sum(y_test == 1) fpr = np.sum((pred == 1) & (y_test == 0)) / np.sum(y_test == 0) tpr_list.append(tpr) fpr_list.append(fpr) ks = max(np.array(tpr_list) - np.array(fpr_list)) print("KS:", round(ks, 4))这段代码里阈值遍历用的是np.linspace(0, 1, 100),步长0.01,KS的计算精度足够。KS超过0.4说明模型在排序上表现优秀,但也要警惕推测可能是过拟合或发生了未来信息泄漏。AUC和KS的观感不一样:AUC对整体排序敏感,KS关注的是最大分离点的能力。如果AUC有0.85但KS只有0.2,说明模型在中间分数段区分度不够,可能特征剂量不足;如果KS很高但AUC一般,说明模型只在某个分数区间有区分度。
5. 避坑记录:个贷违约预测最容易翻车的5个细节
5.1 未来信息泄漏:AUC高到离谱就是报警信号
现象:训练集AUC达到0.97,测试集也有0.92,但把模型用到新数据时一塌糊涂,审批通过率和坏账率严重偏离预期。
原因:数据集的字段里混进了贷后变量。最常见的是直接用“累计逾期天数”“催收次数”当特征,这些字段只有在贷款发放之后才会产生,属于上帝视角。
解决:回到字段列表,凡是文档说明里标注为“贷后”“催收”“还款表现”的字段一律删除。更隐蔽的是“历史征信逾期次数”——这个要看统计时间窗口,如果窗口覆盖了贷款发放后的几个月,同样是未来信息。经验做法是逐字段过一遍生成逻辑,拿不准就删,AUC从0.97掉到0.75是正常的,不要慌。
5.2 随机划分数据导致样本泄漏:同一个人出现在训练集和验证集
现象:模型在验证集上AUC很高,但上线后表现断崖式下跌。
原因:数据集里可能同一个客户有多条贷款记录,直接train_test_split随机划分时,同一客户的记录可能一部分进了训练集、一部分进了验证集。模型等于“见过”这个客户的部分信息再去预测他的其他记录,成绩虚高。
解决:如果数据里有客户ID或身份证脱敏字段,先按客户ID做去重,或者用GroupShuffleSplit保证同一客户的所有记录只在同一侧。
5.3 对全量数据计算WOE再切分:验证集形同虚设
现象:WOE编码后训练集和验证集的AUC都比预期高很多,但KS惨不忍睹。
原因:WOE映射表是在全量数据上计算的,验证集样本的信息已经被统计进去了。验证集不再独立,评估结果天然乐观。这是很多教程没讲清楚的地方,他们直接对整个DataFrame做WOE的map操作,严格来说流程不严谨。
解决:先切分训练集和测试集,在训练集上fit出WOE映射字典,测试集用map方法套用同一份映射,绝不重新计算。
5.4 SMOTE过采样放在切分之前:重复样本污染验证集
现象:模型AUC逼近0.99,几乎完美。
原因:SMOTE生成的都是训练集样本的插值组合,如果过采样发生在数据切分之前,验证集里会混入和训练集样本极其相似甚至相同的合成样本,模型验证毫无意义。
解决:先train_test_split,然后在训练集上用SMOTE,验证集保持真实分布。imblearn的SMOTE只fit训练集,sampling_strategy参数设置为0.3到0.5之间的一个比例,让正样本达到负样本的三分之一或一半,而不是强行1比1,过高的采样比例反而会让模型学到重复模式。
5.5 把阈值默认定在0.5:业务成本完全被忽略
现象:模型预测违约概率在0.1到0.3之间的客户数量庞大,用0.5当阈值审批通过率极低,业务部门抱怨客户流失。
原因:0.5是模型输出的天然分界,但个贷场景里违约率本来就低,大量真实违约客户的预测分数集中在0.1到0.3之间。固定0.5等于默认“犯错的代价”对错判违约和错判正常完全一样,这在信贷业务里显然不成立。
解决:把阈值当成一个业务参数,用成本矩阵寻找最优切分点。这个思路在下一章展开写,这里先记住一个原则:阈值永远是根据业务定出来的,不是模型默认的。
6. 把概率变成决策:违约阈值与可解释性落地
个贷违约预测项目的最后一步,是把模型输出的违约概率翻译成“批不批、按什么额度批”的业务决策。常见的做法是最小化期望成本:假设审批一个正常客户能赚到息差收益,拒绝错了好客户损失的是这笔收益;审批通过一个违约客户,损失的是本金。把这两个成本量化,然后在验证集上扫阈值,找总成本最低的点。
cost_fn = 10000 # 把违约客户错判为正常的成本:本金损失 cost_fp = 500 # 把正常客户错判为违约的成本:损失息差利润 thresholds = np.linspace(0.05, 0.6, 56) total_cost_list = [] for t in thresholds: pred = (y_prob >= t).astype(int) fn = np.sum((pred == 0) & (y_test == 1)) fp = np.sum((pred == 1) & (y_test == 0)) total_cost = fn * cost_fn + fp * cost_fp total_cost_list.append(total_cost) best_idx = np.argmin(total_cost_list) best_threshold = thresholds[best_idx] print("最优阈值:", round(best_threshold, 3), "对应总成本:", total_cost_list[best_idx])这个扫描逻辑的理解成本很低,但它是整个项目从“模型跑通”走向“业务可用”的关键一步。实际业务中cost_fn和cost_fp不是拍脑袋定的,需要和审批、信贷产品经理对齐。如果审批拒绝的客户会流向竞争对手,cost_fp就要调高;如果单笔贷款金额大、欺诈风险高,cost_fn就要上调。阈值确定后,模型输出的分数分段也可以继续细分——比如0.4分以上直接拒绝,0.2到0.4之间转人工审批,0.2以下自动通过。
XGBoost模型的可解释性可以用SHAP做落地分析。对每个预测样本输出它的特征贡献分解,业务人员可以直接看到“这个客户被拒是因为收入分箱的WOE偏低、加上征信评分分箱的风险权重过高”。这比给业务看AUC数字更有说服力,也让模型上线后的监管沟通顺畅得多。我最初做这类项目时,也栽在AUC偏高但审批通过率过低这个坑里,后来发现是阈值没校准,业务完全用不上;从那以后我把阈值决策当成模型的一部分来对待,同样的模型配上合理的阈值,落地效果完全不一样。希望这个思路对你有帮助,至少让你在跑通代码之后,知道下一步该往哪走。
本文还有配套的精品资源,点击获取