简介:这份资源是一套基于sklearn实现股票预测的机器学习项目源码,面向计算机、人工智能、金融商贸等方向的在校学生与自学者,可用于毕业设计、课程设计、作业提交或项目初期立项演示,也适合作为入门机器学习实战的练手案例。压缩包共15个文件,约24.25MB,以4个Python脚本为核心,配合6个xml配置文件、1个csv数据集、1个txt依赖清单及md说明文档,覆盖数据获取、随机森林回归建模与结果输出等环节,目录结构清晰,便于按模块阅读与二次修改。目前已有287人学习下载,代码均经测试运行成功,答辩评审平均分达96分。读者可借此掌握从数据读取、特征处理到模型训练与评估的完整流程,并在此基础上调整算法或替换数据集,快速迁移到其他预测类课题中。
1. 用 sklearn 做股票预测:为什么你的模型在回测里赚钱,实盘却翻车
很多人第一次用 sklearn 做股票预测,都是拿几根均线加一个LinearRegression,回测曲线漂亮得不像话,一上模拟盘就原形毕露。问题不在 sklearn,而在于把时序数据当成了普通的表格数据来切分。股票价格是强自相关的,今天的收盘价和昨天差不了多少,如果你用train_test_split随机打乱,模型等于在训练集里见过"未来",测试集的表现自然是幻觉。这个方向值不值得做?值得,但前提是你得把数据切分、特征构造、标签定义这三件事做对。这篇笔记面向两类人:刚学完机器学习线性回归实验、想拿股票数据练手的新手,以及做过几个模型但回测和实盘差距大的熟手。我会从 sklearn 的安装和最小可跑流程讲起,一路拆到特征工程、模型选型、避坑排查,最后给一套能直接复现的验证方法。全程用 sklearn 生态,不引入深度学习框架,保证你在本地就能跑通。
2. 先把数据管道搭对:sklearn 股票预测的最小可跑闭环
2.1 环境准备与 sklearn 安装的常见坑
sklearn现在正式包名是scikit-learn,安装命令是pip install scikit-learn,不是pip install sklearn。后者虽然也能装上,但只是一个空的元包,装完 import 会报错。这是新手最容易踩的第一个坑。如果你用的是 Anaconda,直接conda install scikit-learn更省事,能自动处理 numpy 和 scipy 的版本依赖。
# 推荐用虚拟环境隔离,避免和系统包冲突 python -m venv stock_env source stock_env/bin/activate # Windows 用 stock_env\Scripts\activate # 安装核心依赖,指定版本区间避免 API 变动 pip install "scikit-learn>=1.3,<1.6" pandas numpy matplotlib yfinance这里解释一下为什么锁版本区间。sklearn 在 1.0 之后对很多 API 做了调整,比如LinearRegression的normalize参数在 1.2 被移除,如果你照着老教程写normalize=True,直接报TypeError。锁在 1.3 到 1.6 之间,既能用上HistGradientBoostingRegressor这类新模型,又不会被最新版的破坏性改动影响。yfinance用来拉取股票历史数据,免费且不需要额外配置,适合做实验。
提示:如果你所在网络拉取数据不稳定,可以先用本地 CSV 文件替代,把
pd.read_csv的路径换成你自己的数据文件即可,后续代码逻辑完全一致。
2.2 用时间序列切分替代随机切分
这是整篇笔记最核心的一步。股票预测的标签通常是"未来 N 天的收益率"或"未来 N 天的收盘价",特征则是过去 M 天的量价指标。如果你用train_test_split(shuffle=True),训练集里会混入测试集之后的数据,造成数据泄露。正确做法是按时间顺序切分:前 80% 做训练,后 20% 做测试,中间可以留一段 gap 避免边界泄露。
import pandas as pd import numpy as np from sklearn.ensemble import HistGradientBoostingRegressor from sklearn.metrics import mean_absolute_error, r2_score # 1. 拉取数据,这里以某只股票为例,实际替换成你的标的 df = pd.read_csv("stock.csv", parse_dates=["date"]).sort_values("date").reset_index(drop=True) # 2. 构造特征:过去 5 日的收益率、成交量变化、日内振幅 df["ret_1"] = df["close"].pct_change(1) df["ret_5"] = df["close"].pct_change(5) df["vol_chg"] = df["volume"].pct_change(1) df["amplitude"] = (df["high"] - df["low"]) / df["close"].shift(1) # 3. 构造标签:未来 1 日收益率,shift(-1) 表示把明天的收益对齐到今天 df["label"] = df["close"].pct_change(1).shift(-1) # 4. 去掉 NaN,注意 dropna 会同时删掉特征和标签缺失的行 df = df.dropna().reset_index(drop=True) feature_cols = ["ret_1", "ret_5", "vol_chg", "amplitude"] X = df[feature_cols].values y = df["label"].values # 5. 按时间顺序切分,前 80% 训练,后 20% 测试 split = int(len(X) * 0.8) X_train, X_test = X[:split], X[split:] y_train, y_test = y[:split], y[split:] # 6. 训练模型,HistGradientBoostingRegressor 对缺失值和异常值更鲁棒 model = HistGradientBoostingRegressor(max_iter=200, learning_rate=0.05, max_depth=3, random_state=42) model.fit(X_train, y_train) # 7. 预测并评估 pred = model.predict(X_test) print("MAE:", mean_absolute_error(y_test, pred)) print("R2:", r2_score(y_test, pred))这段代码有几个关键点需要说明。第一,pct_change(1)算的是日收益率,比直接用收盘价做标签更平稳,模型更容易学到东西。第二,shift(-1)是把明天的收益率挪到今天这一行,这样特征和标签在时间上是对齐的,不会出现"用今天的数据预测今天"这种自欺欺人的情况。第三,HistGradientBoostingRegressor是 sklearn 里对中小规模数据表现很稳的模型,max_depth=3是刻意压低的,股票数据信噪比极低,树太深必然过拟合。learning_rate=0.05配合max_iter=200是一个比较保守的组合,适合第一次跑通流程。
评估指标方面,MAE 衡量预测收益率和真实收益率的平均绝对偏差,R2 衡量模型解释了多少方差。股票日收益率预测的 R2 通常很低,0.01 到 0.05 都算正常,如果看到 0.8 以上,大概率是数据泄露了,别高兴太早。
2.3 特征工程:从量价数据里榨出可用信号
上面只用了四个特征,实际做的时候可以扩展。常见的做法是加均线偏离度、RSI、MACD 柱状值、换手率等。但要注意,特征不是越多越好,股票数据本身噪声大,特征太多容易过拟合。我一般会控制在 10 到 20 个特征之间,然后用feature_importances_或者 permutation importance 筛一遍。
from sklearn.inspection import permutation_importance # 在测试集上算特征重要性,比训练集上的更可信 result = permutation_importance(model, X_test, y_test, n_repeats=10, random_state=42) for i, col in enumerate(feature_cols): print(f"{col}: {result.importances_mean[i]:.4f} +/- {result.importances_std[i]:.4f}")permutation_importance的逻辑是:把某一列特征随机打乱,看模型性能下降多少。下降越多,说明这个特征越重要。n_repeats=10表示重复打乱 10 次取平均,减少随机性。如果某个特征的重要性均值接近 0 甚至为负,说明它对预测没有贡献,可以考虑删掉。这一步能帮你把特征数量压下来,降低过拟合风险。
3. 模型选型与调参:线性回归、树模型和朴素贝叶斯在股票数据上的真实表现
3.1 为什么线性回归实验和真实预测是两回事
很多机器学习线性回归实验课用的是波士顿房价数据集,特征和目标之间关系稳定,LinearRegression一跑 R2 就 0.7 以上。但股票数据不一样,收益率序列接近白噪声,线性模型很难捕捉到非线性关系。我试过用LinearRegression直接预测日收益率,R2 经常是负的,意思是还不如直接猜平均值。
那线性模型在股票预测里完全没用吗?也不是。如果你把标签改成"未来 5 日收益率是否为正"这种二分类问题,用LogisticRegression做方向预测,准确率能到 52% 到 55% 左右。别小看这几个百分点,在足够多的交易次数下,扣除手续费后仍可能为正。关键是你要接受"预测方向"而不是"预测具体数值"这个设定。
from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score, classification_report # 把回归标签转成二分类:未来收益为正记 1,否则记 0 y_cls = (y > 0).astype(int) y_train_cls, y_test_cls = y_cls[:split], y_cls[split:] clf = LogisticRegression(C=0.1, max_iter=1000, random_state=42) clf.fit(X_train, y_train_cls) pred_cls = clf.predict(X_test) print("Accuracy:", accuracy_score(y_test_cls, pred_cls)) print(classification_report(y_test_cls, pred_cls))C=0.1是正则化强度的倒数,值越小正则化越强。股票数据噪声大,强正则化能防止模型记住训练集的噪声。max_iter=1000是因为默认的 100 次迭代在标准化不充分时可能不收敛。这里没有做特征标准化,LogisticRegression对尺度敏感,实际用的时候建议加一个StandardScaler,用Pipeline串起来。
3.2 树模型和朴素贝叶斯的适用边界
RandomForestRegressor和HistGradientBoostingRegressor是 sklearn 里做股票预测比较稳的两个模型。随机森林抗过拟合能力强,但预测值容易偏向均值,适合做基准。梯度提升树拟合能力更强,但需要仔细调max_depth、learning_rate、min_samples_leaf这几个参数。我一般会先用随机森林跑一个 baseline,再用梯度提升树去逼近,如果提升不明显,说明特征本身信息量不够,加模型复杂度也没用。
朴素贝叶斯在股票预测里用得少,主要是因为它的特征独立假设在量价数据上不成立。收益率、成交量、振幅之间相关性很强,强行用GaussianNB效果通常不如树模型。但如果你做的是文本情绪分析,比如从头歌利用 sklearn 构建朴素贝叶斯模型那类实验里,把新闻标题转成 TF-IDF 特征,再用MultinomialNB做情绪分类,那是另一条路,和量价预测不冲突,可以做成两个信号源。
from sklearn.ensemble import RandomForestRegressor from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler # 用 Pipeline 把标准化和模型串起来,避免手动处理 pipe = Pipeline([ ("scaler", StandardScaler()), ("rf", RandomForestRegressor(n_estimators=200, max_depth=5, min_samples_leaf=20, random_state=42)) ]) pipe.fit(X_train, y_train) pred_rf = pipe.predict(X_test) print("RF MAE:", mean_absolute_error(y_test, pred_rf))min_samples_leaf=20是控制过拟合的关键参数,意思是每个叶子节点至少要有 20 个样本。股票数据日频一年才 250 个点左右,叶子节点样本太少,模型就会记住噪声。max_depth=5也是类似考虑,树太深必然过拟合。n_estimators=200是树的数量,一般 100 到 500 之间,再多边际收益递减。
3.3 用 TimeSeriesSplit 做滚动验证
单次按时间切分只能得到一个测试结果,说服力不够。更严谨的做法是用TimeSeriesSplit做滚动验证,每次用前面的数据训练,预测后面一段,滚动前进。这样能看出模型在不同时间段的表现是否稳定。
from sklearn.model_selection import TimeSeriesSplit import numpy as np tscv = TimeSeriesSplit(n_splits=5) scores = [] for train_idx, test_idx in tscv.split(X): X_tr, X_te = X[train_idx], X[test_idx] y_tr, y_te = y[train_idx], y[test_idx] model_cv = HistGradientBoostingRegressor(max_iter=200, learning_rate=0.05, max_depth=3, random_state=42) model_cv.fit(X_tr, y_tr) pred_cv = model_cv.predict(X_te) scores.append(mean_absolute_error(y_te, pred_cv)) print("CV MAE mean:", np.mean(scores), "std:", np.std(scores))n_splits=5表示把数据切成 5 段,每次用前 k 段训练,第 k+1 段测试。注意TimeSeriesSplit不像KFold那样打乱顺序,它严格按时间先后走,这是做时序预测必须遵守的规则。如果 5 次 MAE 的 std 很大,说明模型在不同市场环境下表现不稳定,需要检查特征是否对某个时间段过拟合。
4. 避坑与排查:股票预测里最容易翻车的五个地方
4.1 用未来数据做特征,回测虚高
现象:回测 R2 超过 0.5,实盘一塌糊涂。原因:特征里混入了未来信息,比如用当日收盘价算的均线去预测当日收益率,或者用shift方向搞反了。解决:每个特征构造完后,问自己一句"这个数在预测时刻真的能拿到吗"。均线要用shift(1)往后挪一天,标签用shift(-1)往前挪一天,确保特征和标签在时间上严格对齐。
4.2 标签定义太激进,模型学不到规律
现象:模型预测值几乎等于训练集均值,R2 接近 0。原因:用未来 1 日收益率做标签,信噪比太低,模型干脆摆烂预测均值。解决:把标签改成未来 5 日或 10 日累计收益率,或者改成方向分类。持有周期拉长后,信号相对噪声的比例会提高,模型更容易学到东西。
4.3 特征不做标准化,逻辑回归和 SVM 直接失效
现象:LogisticRegression报收敛警告,准确率和瞎猜差不多。原因:成交量数值在百万级别,收益率在 0.01 级别,量纲差距太大,梯度下降被大数值特征主导。解决:用StandardScaler或RobustScaler做标准化,放进Pipeline里。树模型对尺度不敏感,但线性模型和 SVM 必须做。
4.4 忽略交易成本,策略看着赚钱实际亏钱
现象:方向预测准确率 55%,但按信号交易后净值曲线向下。原因:每次买卖有手续费和滑点,日频交易一年 250 次,成本吃掉大部分利润。解决:在回测里加入双边千分之几的成本,或者把交易频率降下来,改成周频调仓。预测准确率只是第一步,扣费后能不能剩利润才是关键。
4.5 用全部数据调参,测试集泄露
现象:调参时测试集表现很好,换一段数据就崩。原因:反复在测试集上试参数,测试集实际上变成了验证集,模型间接见过测试数据。解决:从训练集里再切一段做验证集,用验证集调参,测试集只在最后跑一次。或者用TimeSeriesSplit的交叉验证结果来选参数,不要盯着单次测试结果调。
5. 把预测信号变成可验证的策略:一个具体技巧
前面讲的都是模型层面的东西,但股票预测最终要落到"买不买、买多少"上。我一般会做一个简单的信号分层验证:把预测收益率从高到低分成 5 组,看每组未来实际收益率的均值是否单调。如果最高组和最低组有明显差异,说明模型有区分能力;如果五组收益差不多,模型就是废的,换特征或换标签重来。
import pandas as pd # 用测试集预测值分组 test_df = pd.DataFrame({"pred": pred, "actual": y_test}) test_df["group"] = pd.qcut(test_df["pred"], 5, labels=False) # 看每组实际收益均值 group_stats = test_df.groupby("group")["actual"].agg(["mean", "std", "count"]) print(group_stats)qcut按预测值分位数切成 5 组,group=0是预测最差的一组,group=4是预测最好的一组。如果group=4的mean明显大于group=0,说明模型有选股能力。这个技巧比单看 MAE 更直观,因为它直接对应"按信号排序后能不能选出好股票"这个实际需求。
还有一个习惯我保持了几年:每次跑完模型,先把预测值和实际值的散点图画出来,再看一眼残差的时间序列。如果残差在某些时间段系统性偏正或偏负,说明模型对市场状态切换没有适应能力,需要考虑加入市场状态特征,或者干脆分市场状态训练多个模型。这个动作花不了几分钟,但能帮你避开很多"回测漂亮实盘翻车"的玄学问题。
最后说一句,sklearn 做股票预测,模型本身不是瓶颈,数据和标签的定义才是。把时间序列切分做对,把特征和标签的时间对齐做对,把交易成本算进去,剩下的就是反复迭代。希望帮到你。
本文还有配套的精品资源,点击获取