精准筛选以及稳定压缩, 这是特征选择与降维所着重的方面: 要对冗余和噪声加以区分, 把具有解释力的部分保留下来, 还要对计算以及过拟合风险进行控制；其方法涵盖了统计初筛（比如方差阈值、相关性、单变量检验）、模型导向选择（像树重要性、RFE、L1正则）以及线性降维（例如PCA、LDA）, 并且着重强调了数据泄露防范、预处理适配以及组合实践。

特征选择以及降维, 并非是“选不选”这种简单的问题, 而是“怎样能够选得精准、降得稳定”的这类问题。其核心之处在于: 要区分出冗余信息跟噪声, 还要保留住对于目标变量具备解释力的结构, 与此同时, 要控制好计算开销以及过拟合风险。

用统计方法做快速特征筛选

适合初筛大量数值型特征，不依赖模型，速度快、可解释性强。

用模型反馈做有导向的特征选择

在训练期间, 借助模型所具备的“注意力”, 去辨认对预测切实产生影响的关键特征, 如此一来, 能够更加靠拢建模预先设定的目标。

音述AI

以“用声音述说故事”为核心的社区, 是音述AI, 它是一个AI音乐创作与声音分享的社区。

下载

用线性变换做结构化降维

倘若特征呈现出强烈的线性相关情形, 或者原始的维度过高, 像图像、文本向量这类情况, 那么就需要进行压缩操作, 并且还要对空间予以重构。

实际操作中的关键提醒

很多效果差不是方法不对，而是流程踩了坑。

大体上也就这些了, 特征工程并非那种一下子就能完成的程序, 而是跟模型迭代捆绑在一起循环的过程, 即试着做出模型, 查看其效果, 检查该模型的特征分布情况, 调整筛选的逻辑, 然后再次进行尝试。行动起来把一两个流程完整地运行一遍, 相较于死记硬背十种方法的作用更大。