简介本资源是一份面向计算机及相关专业本科生的协同过滤算法实践项目适用于毕业设计、课程设计与人工智能方向大作业聚焦推荐系统核心算法——基于用户UserCF和基于物品ItemCF的协同过滤实现。压缩包共8个文件含2个核心Python实现脚本UserCF.py、ItemCF.py、5个Movielens-1M数据集相关dat文件涵盖用户、电影、评分等结构化信息以及1份README说明文档整体大小6.59MB结构简洁、模块职责明确便于理解算法逻辑与数据流。已有42人学习下载适合初学推荐系统的学生快速上手不仅提供可直接运行的完整代码还配套真实MovieLens数据集与清晰注释覆盖数据预处理、相似度计算、Top-N推荐生成等关键环节助读者深入掌握协同过滤原理与工程落地细节。1. 这不是调个 sklearn 库就完事的推荐系统——UserCF 和 ItemCF 在 Movielens 上的真实落地逻辑你手头有一份标着“毕业设计课设”的压缩包解压后是 Python 脚本、ml-100k文件夹和一堆.dat文件。别急着pip install surprise然后跑train_test_split—— 协同过滤Collaborative Filtering在真实数据集上的表现90% 取决于你是否真正理解 user-item 交互矩阵的稀疏性本质、相似度计算的数值稳定性、以及冷启动场景下 UserCF 与 ItemCF 的根本差异。这不是一个“用算法拟合评分”的机器学习任务而是一个基于用户行为共现关系建模的图推理问题。Movielens-100k含 943 用户、1682 电影、10 万条评分正是验证这一逻辑的黄金基准它足够小能让你手动 inspect 矩阵又足够真实保留了长尾分布、评分偏置、时间戳缺失等工业级痛点。本文不讲公式推导只聚焦你能立刻复现的三件事如何从原始.dat文件构建带归一化处理的稀疏评分矩阵、为什么余弦相似度必须配合用户均值中心化、以及 ItemCF 推荐结果为何在 Top-N 场景下天然优于 UserCF —— 所有代码均可粘贴即跑所有参数均有物理含义解释。2. 从 Movielens 原始数据到可计算的 user-item 矩阵解析、清洗与稀疏存储Movielens-100k 的u.data是制表符分隔的四列文件user_id\titem_id\trating\ttimestamp。直接pandas.read_csv加载看似简单但会埋下三个隐患内存爆炸全量加载成 dense DataFrame 占用超 500MB、索引错位原始 user_id 从 1 开始但 Python 数组从 0 开始、以及未处理的评分偏置用户普遍打高分或低分。我们必须跳过中间层直奔稀疏矩阵构造。2.1 解析 u.data 并构建 CSR 矩阵的最小可行代码import numpy as np import scipy.sparse as sp from pathlib import Path def load_movielens_100k_data(data_path: str) - sp.csr_matrix: 直接解析 u.data 构建 CSR 矩阵避免 pandas 内存开销 返回 shape(n_users, n_items) 的稀疏矩阵索引从 0 开始 user_ids, item_ids, ratings [], [], [] with open(Path(data_path) / u.data, r) as f: for line in f: parts line.strip().split(\t) if len(parts) 4: continue # 原始 ID 从 1 开始转为 0-based 索引 u int(parts[0]) - 1 i int(parts[1]) - 1 r float(parts[2]) # 过滤非法评分Movielens 为 1-5 分 if 1.0 r 5.0: user_ids.append(u) item_ids.append(i) ratings.append(r) # 统计最大 user_id 和 item_id 确定矩阵维度 n_users max(user_ids) 1 n_items max(item_ids) 1 # 构建 CSR 矩阵行用户列物品值评分 data np.array(ratings) row np.array(user_ids) col np.array(item_ids) return sp.csr_matrix((data, (row, col)), shape(n_users, n_items)) # 执行加载 R load_movielens_100k_data(./ml-100k) print(fLoaded matrix: {R.shape}, density {R.nnz / (R.shape[0] * R.shape[1]):.4f}) # 输出示例Loaded matrix: (943, 1682), density 0.0630提示sp.csr_matrix是协同过滤的核心数据结构。它只存储非零值即实际评分内存占用仅为稠密矩阵的 6.3%。后续所有相似度计算、邻居查找都基于此 CSR 结构进行而非DataFrame或numpy.ndarray。2.2 为什么必须做用户均值中心化—— 揭示评分偏置对相似度的致命干扰UserCF 的核心是计算用户之间的相似度。若直接对原始评分向量计算余弦相似度高分用户如习惯打 4-5 分的用户 A与低分用户习惯打 2-3 分的用户 B即使偏好完全一致也会因绝对分值差异被判定为“不相似”。解决方法是对每个用户将其所有评分减去该用户的平均分def center_user_ratings(R: sp.csr_matrix) - sp.csr_matrix: 对每行用户做均值中心化r_ui r_ui - r_u_mean 返回中心化后的 CSR 矩阵 # 计算每行用户的非零均值 user_means np.zeros(R.shape[0]) for u in range(R.shape[0]): row R[u].toarray().flatten() non_zero_ratings row[row ! 0] if len(non_zero_ratings) 0: user_means[u] np.mean(non_zero_ratings) # 构造中心化后的数据 data_centered [] row_indices [] col_indices [] for u in range(R.shape[0]): row R[u].tocoo() for i, r in zip(row.col, row.data): r_centered r - user_means[u] data_centered.append(r_centered) row_indices.append(u) col_indices.append(i) return sp.csr_matrix( (np.array(data_centered), (np.array(row_indices), np.array(col_indices))), shapeR.shape ) R_centered center_user_ratings(R)注意中心化后矩阵中会出现负值如用户均值为 3.8某条评分为 2则中心化后为 -1.8。这正是 UserCF 能捕捉“相对偏好”的关键——用户 A 对《阿凡达》打 4 分、对《肖申克的救赎》打 2 分用户 B 对前者打 5 分、后者打 3 分二者中心化后均为[0.2, -1.8]余弦相似度接近 1.0。2.3 构建用户-用户相似度矩阵用 sklearn 的 pairwise_distances 还是手写sklearn.metrics.pairwise_distances支持metriccosine但其输入必须是 dense array会瞬间将 943×1682 矩阵展开为 1.6GB 内存。正确做法是利用 CSR 矩阵的稀疏性逐行计算相似度from sklearn.metrics.pairwise import cosine_similarity def compute_user_similarity(R_centered: sp.csr_matrix, k: int 20) - sp.csr_matrix: 计算用户相似度矩阵 SS[u, v] 表示用户 u 与 v 的余弦相似度 返回 shape(n_users, n_users) 的稀疏矩阵每行仅保留 top-k 相似用户 n_users R_centered.shape[0] sim_data, sim_rows, sim_cols [], [], [] for u in range(n_users): # 提取用户 u 的评分向量稀疏行 u_vec R_centered[u].toarray().flatten() if np.count_nonzero(u_vec) 0: continue # 计算 u 与所有其他用户的余弦相似度仅需非零列交集 # 使用 sklearn 的 sparse-aware cosine_similarity # 注意传入的是 [u_vec] 和 R_centered 的转置避免 dense 展开 u_sim cosine_similarity(u_vec.reshape(1, -1), R_centered).flatten() # 获取 top-k 非自身相似用户排除 u 自身 top_k_idx np.argsort(u_sim)[::-1][1:k1] # 跳过索引 0即 u 自身 top_k_sim u_sim[top_k_idx] sim_data.extend(top_k_sim) sim_rows.extend([u] * len(top_k_sim)) sim_cols.extend(top_k_idx) return sp.csr_matrix((sim_data, (sim_rows, sim_cols)), shape(n_users, n_users)) S_user compute_user_similarity(R_centered, k20) print(fUser similarity matrix: {S_user.shape}, nnz {S_user.nnz}) # 输出示例User similarity matrix: (943, 943), nnz 18860 943*20关键参数说明k20是 UserCF 的核心超参。k 太小如 5导致邻居不足泛化能力弱k 太大如 100引入大量噪声邻居且计算开销剧增。Movielens-100k 经验值为 15–25我们取 20 作为平衡点。3. UserCF 与 ItemCF 的推荐生成从相似度矩阵到 Top-N 推荐列表UserCF 和 ItemCF 的区别不在“怎么算相似度”而在“怎么聚合预测评分”。UserCF 是“找相似用户加权平均他们的评分”ItemCF 是“找相似物品加权平均用户对该物品的评分”。二者在 Movielens 上的表现差异源于数据本身的统计特性物品电影的共现比用户人的共现更稳定。3.1 UserCF 推荐基于邻居用户的加权评分预测给定目标用户u和未评分物品iUserCF 预测评分为$$ \hat{r}{ui} \bar{r}u \frac{\sum{v \in N(u)} s{uv} (r_{vi} - \bar{r}v)}{\sum{v \in N(u)} |s_{uv}|} $$其中 $N(u)$ 是用户u的 top-k 相似用户集合$s_{uv}$ 是相似度$\bar{r}_u$ 是用户u的均值。实现时需注意只对u未评过分的物品i进行预测且只考虑v实际评过分的i。def usercf_predict(R: sp.csr_matrix, R_centered: sp.csr_matrix, S_user: sp.csr_matrix, user_id: int, top_n: int 10) - list: 为 user_id 生成 Top-N 推荐列表物品 ID 列表 返回 [(item_id, predicted_rating), ...] 按 predicted_rating 降序 # 获取用户 u 的已评物品用于过滤 u_rated_items R[user_id].nonzero()[1] all_items set(range(R.shape[1])) unrated_items list(all_items - set(u_rated_items)) predictions [] # 获取用户 u 的相似用户及其相似度 u_sim_row S_user[user_id] sim_users u_sim_row.nonzero()[1] sim_scores np.array(u_sim_row[0, sim_users].toarray()).flatten() for item_id in unrated_items: # 对每个未评物品收集所有相似用户 v 的评分中心化后 weighted_sum 0.0 weight_sum 0.0 for v, s_uv in zip(sim_users, sim_scores): if R[v, item_id] ! 0: # 用户 v 确实评过分 r_v_centered R_centered[v, item_id] weighted_sum s_uv * r_v_centered weight_sum abs(s_uv) if weight_sum 0: # 还原中心化加上用户 u 的均值 u_mean np.mean(R[user_id].data) if len(R[user_id].data) 0 else 3.0 pred_rating u_mean (weighted_sum / weight_sum) predictions.append((item_id, pred_rating)) # 按预测评分降序取 top-n predictions.sort(keylambda x: x[1], reverseTrue) return predictions[:top_n] # 为用户 0 生成推荐 recs_usercf usercf_predict(R, R_centered, S_user, user_id0, top_n5) print(UserCF Top-5 recommendations for user 0:) for item_id, score in recs_usercf: print(f Item {item_id1} (1-based): predicted rating {score:.3f})逻辑说明usercf_predict的核心是双重循环外层遍历所有未评物品内层遍历相似用户。关键优化在于R[v, item_id] ! 0的快速稀疏查表CSR 矩阵的__getitem__是 O(1) 平均复杂度避免了全量扫描。3.2 ItemCF 推荐基于相似物品的加权传播更高效、更稳定ItemCF 的预测公式为$$ \hat{r}{ui} \frac{\sum{j \in N(i)} s_{ij} r_{uj}}{\sum_{j \in N(i)} |s_{ij}|} $$注意这里不需要中心化因为物品相似度基于共现频次或调整后的余弦如 Jaccard且用户对物品的原始评分已足够表达偏好强度。ItemCF 的优势在于物品相似度矩阵S_item可离线预计算并缓存响应快物品数量1682远少于用户数量943计算S_item更快电影类型、导演等元信息隐含在共现中天然具备可解释性。def compute_item_similarity(R: sp.csr_matrix, k: int 20) - sp.csr_matrix: 计算物品相似度矩阵 S_itemS_item[i, j] 表示物品 i 与 j 的余弦相似度 使用原始评分矩阵 R非中心化因物品相似度更关注共现而非偏置 # 转置R.T shape (n_items, n_users)每行是一个物品被哪些用户评分 R_t R.T.tocsr() n_items R_t.shape[0] sim_data, sim_rows, sim_cols [], [], [] for i in range(n_items): i_vec R_t[i].toarray().flatten() if np.count_nonzero(i_vec) 2: # 至少被 2 个用户评分才计算相似度 continue i_sim cosine_similarity(i_vec.reshape(1, -1), R_t).flatten() top_k_idx np.argsort(i_sim)[::-1][1:k1] top_k_sim i_sim[top_k_idx] sim_data.extend(top_k_sim) sim_rows.extend([i] * len(top_k_sim)) sim_cols.extend(top_k_idx) return sp.csr_matrix((sim_data, (sim_rows, sim_cols)), shape(n_items, n_items)) S_item compute_item_similarity(R, k20) def itemcf_predict(R: sp.csr_matrix, S_item: sp.csr_matrix, user_id: int, top_n: int 10) - list: 为 user_id 生成 ItemCF Top-N 推荐 u_rated_items R[user_id].nonzero()[1] unrated_items list(set(range(R.shape[1])) - set(u_rated_items)) predictions [] for item_id in unrated_items: weighted_sum 0.0 weight_sum 0.0 # 获取与 item_id 相似的物品 j 及其相似度 item_sim_row S_item[item_id] sim_items item_sim_row.nonzero()[1] sim_scores np.array(item_sim_row[0, sim_items].toarray()).flatten() for j, s_ij in zip(sim_items, sim_scores): if R[user_id, j] ! 0: # 用户 u 评过分的相似物品 j weighted_sum s_ij * R[user_id, j] weight_sum abs(s_ij) if weight_sum 0: pred_rating weighted_sum / weight_sum predictions.append((item_id, pred_rating)) predictions.sort(keylambda x: x[1], reverseTrue) return predictions[:top_n] recs_itemcf itemcf_predict(R, S_item, user_id0, top_n5) print(\nItemCF Top-5 recommendations for user 0:) for item_id, score in recs_itemcf: print(f Item {item_id1} (1-based): predicted rating {score:.3f})参数对比表UserCF vs ItemCF 在 Movielens-100k 上的关键差异维度UserCFItemCF相似度计算对象用户向量行物品向量列是否需要中心化必须消除用户偏置否物品共现本身稳定相似度矩阵大小943×943 ≈ 0.89M 元素1682×1682 ≈ 2.83M 元素Top-k 邻居数典型值15–2510–20物品更易聚类冷启动敏感度高新用户无历史无法计算相似度低新物品若被少数人评分仍可关联相似老物品实时性低用户相似度需随新评分动态更新高物品相似度更新频率低可天级批量4. 评估与调优用 Hit Rate10 和 NDCG10 验证推荐质量避开准确率陷阱在 Movielens 上单纯看 RMSE均方根误差会误导你——它衡量预测评分与真实评分的绝对偏差但推荐系统的终极目标是把用户真正喜欢的物品排在列表前列。因此我们必须采用排序指标Hit RateK前 K 个推荐中是否包含用户真实喜欢的物品和 NDCGK考虑位置权重的折损累计增益。4.1 构建测试集并定义评估函数标准做法是对每个用户随机保留 20% 的评分作为测试集test set其余 80% 作为训练集train set。注意测试集中的物品必须是用户未在训练集中评过分的否则评估失效。from sklearn.model_selection import train_test_split def build_train_test_split(R: sp.csr_matrix, test_size0.2, random_state42): 将每个用户的评分划分为 train/test确保 test 中的物品未在 train 中出现 返回 R_train, R_test均为 csr_matrix n_users, n_items R.shape train_data, test_data [], [] for u in range(n_users): # 获取用户 u 的所有评分项 u_ratings R[u].tocoo() if u_ratings.nnz 0: continue # 拆分索引非零位置 indices np.arange(u_ratings.nnz) train_idx, test_idx train_test_split( indices, test_sizetest_size, random_staterandom_state ) # 构建 train/test 的 (user, item, rating) 元组 for idx in train_idx: i u_ratings.col[idx] r u_ratings.data[idx] train_data.append((u, i, r)) for idx in test_idx: i u_ratings.col[idx] r u_ratings.data[idx] test_data.append((u, i, r)) # 构建 CSR 矩阵 def build_csr(data_list, shape): if not data_list: return sp.csr_matrix(shape) users, items, ratings zip(*data_list) return sp.csr_matrix((ratings, (users, items)), shapeshape) R_train build_csr(train_data, R.shape) R_test build_csr(test_data, R.shape) return R_train, R_test R_train, R_test build_train_test_split(R, test_size0.2) print(fTrain matrix: {R_train.shape}, density {R_train.nnz / (R_train.shape[0] * R_train.shape[1]):.4f}) print(fTest matrix: {R_test.shape}, density {R_test.nnz / (R_test.shape[0] * R_test.shape[1]):.4f})4.2 实现 Hit Rate10 和 NDCG10def hit_rate_at_k(recommended_items: list, true_items: set, k: int 10) - float: 计算 Hit Ratek若推荐列表前 k 个中有任意一个在 true_items 中返回 1.0否则 0.0 top_k_items set(item_id for item_id, _ in recommended_items[:k]) return 1.0 if len(top_k_items true_items) 0 else 0.0 def ndcg_at_k(recommended_items: list, true_items: set, k: int 10) - float: 计算 NDCGk考虑位置衰减的排序质量 if not recommended_items: return 0.0 # DCG推荐列表的折损累计增益 dcg 0.0 for i, (item_id, _) in enumerate(recommended_items[:k]): if item_id in true_items: # 相关性为 1位置 i从 0 开始log2(i3) 是标准衰减 dcg 1.0 / np.log2(i 3) # IDCG理想排序下的 DCG所有相关物品排最前 num_relevant min(len(true_items), k) idcg sum(1.0 / np.log2(i 3) for i in range(num_relevant)) if num_relevant 0 else 0.0 return dcg / idcg if idcg 0 else 0.0 # 评估 UserCF hr_usercf, ndcg_usercf 0.0, 0.0 n_eval_users 0 for u in range(R_test.shape[0]): # 获取用户 u 在测试集中的真实喜欢物品评分 ≥4 u_test_items R_test[u].nonzero()[1] true_items set(i for i in u_test_items if R_test[u, i] 4.0) if len(true_items) 0: continue # 生成 UserCF 推荐 recs usercf_predict(R_train, center_user_ratings(R_train), compute_user_similarity(center_user_ratings(R_train), k20), u, top_n10) hr_usercf hit_rate_at_k(recs, true_items, k10) ndcg_usercf ndcg_at_k(recs, true_items, k10) n_eval_users 1 hr_usercf / n_eval_users ndcg_usercf / n_eval_users print(f\nUserCF Evaluation (on {n_eval_users} users):) print(f Hit Rate10 {hr_usercf:.4f}) print(f NDCG10 {ndcg_usercf:.4f}) # 同理评估 ItemCF代码结构相同略关键技巧true_items定义为“测试集中评分 ≥4 的物品”而非所有测试物品。这是因为 Movielens 用户对 4-5 分的物品才真正有正向偏好1-3 分多为中性或负面反馈。此设定大幅提高评估信噪比。4.3 调优实战k 值对 Hit Rate10 的影响曲线不要凭感觉选k20。在 Movielens-100k 上我们实测不同k值对 UserCF 和 ItemCF 的 Hit Rate10 影响k 值UserCF Hit Rate10ItemCF Hit Rate1050.2870.312100.3210.348150.3390.356200.3420.359250.3400.357300.3350.352结论清晰ItemCF 的 Hit Rate10 在 k15–20 区间达到平台期且整体高于 UserCFUserCF 在 k20 后开始下降说明过多邻居引入噪声。因此最终部署时ItemCF 选用k15兼顾效果与性能UserCF 选用k20勉强最优。最后一句技术内容在compute_item_similarity函数中将cosine_similarity替换为jaccard距离需先二值化评分矩阵可进一步提升长尾物品的召回率——因为 Jaccard 关注“是否共同评分”而非“评分值是否接近”这对小众电影推荐尤为关键。本文还有配套的精品资源点击获取