1. 问题背景与核心矛盾

搜索相关性模型的核心任务是判断用户查询(query)与候选文档(doc)的匹配程度。在模型输出环节，工程师常面临一个关键选择：将相关性建模为离散档位（如1-5星）的分类问题，还是连续分数（0~1）的回归问题？这个看似简单的选择背后，涉及算法效果、业务适配和工程实现的深层博弈。

我经历过多个搜索系统迭代，发现两种方案各有适用场景。比如电商搜索用档位制能更好对齐"好/中/差评"的直观认知，而内容推荐系统用连续分数则便于做精排融合。下面从技术实现、业务适配和效果调优三个维度展开分析。

2. 分类Loss方案解析

2.1 实现方式与典型结构

采用交叉熵损失函数，输出层使用softmax激活，将相关性划分为K个离散档位。常见结构如下：

# PyTorch示例 class ClassificationModel(nn.Module): def __init__(self, input_dim, num_classes): super().__init__() self.dense = nn.Linear(input_dim, 256) self.output = nn.Linear(256, num_classes) # 输出5个档位 def forward(self, x): x = F.relu(self.dense(x)) return F.softmax(self.output(x), dim=-1)

2.2 优势场景

• 人工标注友好：标注人员更容易判断"3星还是4星"而非"0.73还是0.76"
• 排序稳定性强：档位间隔明确，避免分数挤压问题（如大量结果集中在0.7~0.8）
• 业务解释性强：可直接对应"勉强相关/相关/高度相关"等业务术语

实践发现：当标注一致性低于80%时，分类模型AUC通常比回归模型高3-5个百分点

2.3 局限性

• 信息损失：无法表达"4.5星"的中间状态
• 边界敏感：处于档位临界点的样本容易误判
• 长尾问题：稀少的高档位样本（如5星）需要特殊处理

3. 回归Loss方案解析

3.1 实现方式与典型结构

采用MSE或Huber损失，输出层使用sigmoid激活，输出0~1连续值。典型实现：

class RegressionModel(nn.Module): def __init__(self, input_dim): super().__init__() self.dense = nn.Linear(input_dim, 256) self.output = nn.Linear(256, 1) # 输出单个分数 def forward(self, x): x = F.relu(self.dense(x)) return torch.sigmoid(self.output(x))

3.2 优势场景

• 精细排序：适合需要微调排序位置的场景（如推荐系统）
• 多目标融合：便于与其他分数（如CTR预测）加权计算
• 数据利用充分：可学习到标注中的隐含偏好（如0.8 vs 0.9）

3.3 局限性

• 标注噪声敏感：对标注不一致的容忍度较低
• 分数分布漂移：不同数据批次的输出范围可能波动
• 业务解释成本：需要额外制定分数分段规则

4. 关键技术对比

5. 混合方案与创新实践

5.1 分阶段混合架构

1. 粗排阶段：用分类模型快速过滤低相关结果
2. 精排阶段：对Top结果用回归模型微调排序

graph TD A[Query] --> B{分类模型} B -->|>=3星| C[回归模型] B -->|<3星| D[直接过滤] C --> E[最终排序]

5.2 改进的损失函数

• Ordinal Regression：将分类问题转化为有序回归
• Plackett-Luce模型：直接学习排序概率分布
• Listwise Loss：优化整个结果列表的排序

6. 业务适配决策树

根据以下特征选择方案：

1. 标注一致性 >85% → 优先回归
2. 需要融合其他分数 → 必须回归
3. 结果需要人工复审 → 优先分类
4. 存在明确业务分段 → 优先分类
5. 长尾查询占比高 → 优先回归

7. 工程实现注意事项

7.1 分类方案陷阱

• 避免使用均等间隔档位（应通过数据分布确定）
• 对高档位样本需适当过采样
• 建议使用Label Smoothing缓解过拟合

7.2 回归方案调优

• 输出层建议使用tanh而非sigmoid（缓解梯度消失）
• 对分数做后处理校准（如Platt Scaling）
• 定期监控分数分布漂移

8. 效果评估指标选择

• 分类模型：看Acc@K和混淆矩阵
• 回归模型：看NDCG和相关性分数分布
• 两者通用：AUC和人工盲测通过率

9. 典型问题排查指南

10. 个人实践心得

在视频搜索项目中，我们最终选择了混合方案：用5档分类做初筛，对4-5星结果再用回归细化。关键收获：

1. 分类模型阈值需预留缓冲带（如3星实际对应2.5-3.4）
2. 回归模型建议定期用最新数据fine-tune
3. 重要查询最好人工配置权重覆盖
4. 评估时需区分头部查询和长尾查询效果

这种架构使NDCG@10提升了17%，同时减少了35%的人工运营成本。最意外的是发现回归模型对"剧情解说"类query的效果显著优于分类模型，这与内容特性的模糊匹配需求高度相关。