加权Cohen's Kappa系数是专门用于‌有序分类标注场景‌（比如1-5分质量打分、严重/一般/轻微/无错误这类有等级顺序的标注）的一致性衡量指标，相比普通Cohen's Kappa，它会给不同程度的打分分歧赋予不同权重，更贴合标注场景的实际业务逻辑。以下是完整计算步骤，结合之前的客服标注场景举例说明：

一、前置准备

设：

• 两名标注者独立标注的样本总数为N
• 标注的有序类别总数为k（比如1-5分打分场景下k=5）
• 构建k×K的混淆矩阵O，其中元素Oij表示标注者A给样本打类别ii、标注者B给同一样本打类别jj的样本数量，矩阵对角线元素Oii代表两名标注者打分完全一致的样本数。

二、第一步：定义分歧权重矩阵

加权Kappa的核心是给不同程度的打分分歧赋予对应权重，常用两种权重方案：

1. ‌线性权重‌：分歧程度和打分差值成正比，差值越大权重越高

1. ‌二次权重‌：分歧程度和打分差值的平方成正比，对大分歧的惩罚更重，是标注场景最常用的方案

其中wij是混淆矩阵中第ii行第jj列位置的分歧权重，完全一致的对角线位置wii=0wii​=0，打分差值越大，wijwij​越接近1，代表分歧越严重。

举个5分制标注的例子：两个标注者给同一样本打5分和4分，差值为1，二次权重为1/(5−1)2=0.0625；如果一个打5分、一个打1分，差值为4，二次权重为16/16=1，代表这是最严重的分歧。

三、第二步：计算观测加权不一致率Po

观测不一致率是实际标注结果中，所有分歧的加权总和占总样本的比例：

其中分子是所有样本的分歧权重之和，除以总样本数得到实际观测到的加权不一致比例。

四、第三步：计算随机期望加权不一致率Pe

随机期望不一致率是假设两名标注者完全独立、随机打分时，理论上会出现的加权不一致比例：

1. 先计算两名标注者的边际分布：
   • 标注者A打类别ii的总样本数：
   • 标注者B打类别jj的总样本数：
2. 计算随机情况下每个(i,j)(i,j)位置的期望样本数：

1. 最终计算随机期望加权不一致率：

五、第四步：计算最终加权Cohen's Kappa系数

κw=1−Po / Pe​​

六、结果解读标准

和普通Cohen's Kappa的解读标准一致，加权Kappa的取值范围为-1~1：

• κw​≥0.8：标注一致性优秀，人工金标准可信度极高
• 0.6≤κw<0.8：标注一致性良好，可用于常规校准场景
• 0.4≤κw<0.6：标注一致性中等，需要重新对齐打分规则
• κw<0.4：标注一致性较差，打分标准存在严重分歧，必须重新标注

补充说明：当所有分歧权重wij在i≠j 时都取1时，加权Kappa就退化为普通Cohen's Kappa，也就是只统计“完全一致/不一致”，不区分分歧的严重程度，仅适用于无序分类场景。

图中样本50条打分情况；帮忙计算所有分歧的加权总和占总样本的比例；标注者A（=质检i列）打类别 i的总样本数：标注者B（=质检j列）打类别j的总样本数 每个(i,j)位置的期望样本数； 最终计算随机期望加权不一致率：

📊 50条样本加权Kappa全量计算结果

本次计算基于图片中完整的50条双盲标注打分数据，采用二次权重规则完成全流程推导。

📋 基础样本信息

• 总样本数 N=50
• 打分等级范围：1~5分，共 k=5 个有序类别
• 标注者A对应表格第二列（质检i列），标注者B对应表格第三列（质检j列）
• 分歧权重规则：采用二次权重 wij=(i−j)2 / (k−1)2，完全一致时权重为0，打分差值越大惩罚权重越高。

🔍 观测加权不一致率 PoPo​ 计算

统计所有样本的打分差值，计算所有分歧的加权总和：

1. 完全一致样本共27条，分歧权重全部为0
2. 差值为1的样本共13条，单样本权重为 1/16=0.0625，加权总分歧为 13×0.0625=0.8125
3. 差值为2的样本共7条，单样本权重为 4/16=0.25，加权总分歧为 7×0.25=1.75
4. 差值为3的样本共2条，单样本权重为 9/16=0.5625，加权总分歧为 2×0.5625=1.125
5. 差值为4的样本共1条，单样本权重为 16/16=1，加权总分歧为 1×1=1

所有分歧的加权总和为 0.8125+1.75+1.125+1=3.6875
观测加权不一致率：

Po=3.6875 / 50=0.07375

📈 标注者边际分布统计

统计两名标注者各分数段的总样本数：

表格

🧮 期望样本数与随机期望加权不一致率 PePe​

计算每个(i,j)位置的期望样本数 Eij=Ri×Cj / N，结合二次权重计算加权总和：
最终随机场景下的加权分歧总和为10.71
随机期望加权不一致率：

Pe=10.71 / 50=0.2142

✅ 最终加权Cohen's Kappa结果

代入公式计算最终系数：

κw=1−（Po / Pe）=1−（0.07375 / 0.2142）≈0.656

本次标注一致性处于良好区间，符合人工金标准的基础校准要求。