简介:面向Python数据分析和Web开发学习者,这是一份基于RFM模型的用户画像可视化系统完整项目代码。资源使用Django框架搭建分析网站,覆盖数据处理、RFM指标计算、用户分群和可视化展示等环节,包括Pandas清洗交易数据、计算最近消费时间、消费频率与消费金额,利用K-means聚类划分用户价值等级,再通过图表呈现分析结果,适合希望将机器学习与Web应用结合实践的初中级开发者。压缩包共43个文件、14.72MB,核心包括py源码、csv和tsv业务数据、HTML页面模板、Jupyter Notebook分析笔记,以及sqlite3数据库和环境说明文档,目录包含Django项目、数据文件及Notebook分析脚本等模块,便于对照学习。目前已有1565人学习下载。通过源码和笔记,可以掌握从用户交易数据到RFM分层、再到可视化看板的构建思路,理解Django视图、模板和模型的组织方式,并了解数据导入、指标计算、图表渲染与页面联动的实现细节,为营销场景下的用户画像与精细化运营提供可直接复用的参考。
1. 基于RFM的用户画像可视化系统:从「会算」到「能看」的最后一公里
RFM用户画像可视化系统,听起来像是一个把经典模型套上网页壳的活儿,但真正拉开差距的地方,不是会不会算,而是算完之后运营和老板能不能一眼看懂。我见过不少团队,SQL里跑完RFM就把结果丢进Excel透视图,做出来的图自己都不想看第二眼。这篇文章给你一套能直接跑起来的最小可视化系统:pandas负责清洗和打分,pyecharts生成可交互图表,Flask包一层本地服务,最后呈现的是一个带筛选的Web看板。如果你正在做用户分层,或想给自己手里的订单数据加一个能直接给业务看的后台,这套方案可以直接照着抄。后面会看到完整的清洗逻辑、打分代码、接口设计,以及几个我踩过的高频翻车点。
2. RFM计算的完整管道:数据清洗、打分与分群
2.1 订单表清洗:四个核心字段怎么过滤
做任何可视化之前,得先确认RFM计算需要的“原料”足够干净。RFM真正依赖的字段只有四个:用户标识、订单标识、支付时间、实付金额。订单表里通常有几十列,但在这个阶段其他列不参与计算,提前裁掉能减少内存占用,也避免后面不小心把不含时间或用户信息的行带进来。
import pandas as pd raw = pd.read_csv("orders.csv", parse_dates=["pay_time"]) df = raw[["user_id", "order_id", "pay_time", "pay_amount"]].copy() df = df.dropna(subset=["user_id", "order_id", "pay_time"]) # 整单退款会产生负金额,直接过滤掉 df = df[df["pay_amount"] > 0] print(df.shape, df["user_id"].nunique())这段代码做了两件容易被忽略的事。第一,dropna过滤掉没有支付时间的订单,因为R值必须依赖一个真实的时间点;第二,直接剔除退款单,避免退款把F和M两个维度做虚。如果你的业务中部分退款是单独记录,需要先按订单汇总,再判断订单状态是否已退款,这里不能简单套pay_amount > 0。要注意nunique()输出的用户数会直接影响后面的可视化规模,如果用户量级超过百万,后面的散点图就要考虑采样。洗数据的边界在于:宁可少算一单,不要混入脏数据,R、F、M三个指标都是逐单逐时间累计出来的,源数据脏一格,画像结果就整体偏一格。
除了字段过滤,时间类型也要做一次校验。CSV里pay_time经常被读成字符串,解析后会得到一个带时区的时间列。如果服务器时区是UTC,业务时区是北京时间,必须在清洗阶段就转好,否则凌晨时间段的订单会被归到前一天,R值整体偏大。这里建议在读取后用pd.to_datetime(..., utc=True)再dt.tz_convert(...)统一到业务时区,这也是后续所有时间计算的安全基座。
2.2 R/F/M口径与打分边界
RFM的三个维度里,最容易“翻车”的是口径不统一。R指用户最近一次支付距离参考日期的天数,参考日期必须冻结。我见过团队直接在代码里写pd.Timestamp("today"),每天跑出来的R分布都在漂移,分位数边界也变来变去,前后两天的分群结果没法对比。正确做法是把参考日期作为参数,由调度系统传入,或者像下面一样定义为常量。F是统计周期内的有效支付次数,支付成功并且没有被退款的订单才算。统计周期按业务来定,电商看近90天,SaaS看近一年,没有标准答案。M是周期内的累计实付金额,单位通常用元,部分退款场景下需要先按订单汇总消减退款金额。
REF_DATE = pd.Timestamp("2024-12-31") WINDOW_START = REF_DATE - pd.Timedelta(days=90) orders = df[(df["pay_time"] >= WINDOW_START) & (df["pay_time"] <= REF_DATE)].copy() rfm = orders.groupby("user_id").agg( recency=("pay_time", "max"), frequency=("order_id", "count"), monetary=("pay_amount", "sum"), ).reset_index() rfm["R"] = (REF_DATE - rfm["recency"]).dt.days rfm["F"] = rfm["frequency"] rfm["M"] = rfm["monetary"] print(rfm.describe())这段聚合逻辑的关键是先按窗口过滤,再分组。如果先分组再过滤,历史订单会被错误地算进F和M,导致近90天的活跃度被历史数据掩盖。recency取支付时间最大值,然后用参考日期减去,得到天数。这里有个隐藏问题:如果某个用户最近一次支付其实发生在统计窗口之后,说明调度时数据已经提前跑批,窗口边界没卡住。为了避免这种情况,可以在聚合后加一行校验,比如看rfm["R"]的最小值是否为0或负数。R的值域越小越活跃,这跟直觉相反,所以后面打分时需要反向映射。WINDOW_START是第一个可配置参数,改成30或180就能得到不同时间粒度的用户活跃视角。实际项目中我通常会把窗口天数放到接口参数里,方便前端做时间筛选,这一点在第6章会展开。
2.3 分位数打分与8类用户映射
拿到R/F/M三列连续值后,下一步是把它变成离散档位。常见的做法有两种:等距分箱和分位数分箱。等距分箱在处理M值这种长尾特征时会非常难看,大部分用户集中在1分区间,少数大客户占掉极高的一档,最终人群分布图上一片失衡。我习惯先对F和M做log1p变换,再用pd.qcut按20%分位数切出1到5档,这样每个档位的人数大致相同,可视化出来的颜色层次也更均匀。
import numpy as np def log1p_series(s): return np.log1p(s) def rfm_score(col, reverse=False): q = [0, 0.2, 0.4, 0.6, 0.8, 1.0] labels = [1, 2, 3, 4, 5] if reverse: labels = [5, 4, 3, 2, 1] return pd.qcut(col, q=q, labels=labels, duplicates="drop") rfm["R_score"] = rfm_score(rfm["R"], reverse=True) rfm["F_score"] = rfm_score(log1p_series(rfm["F"])) rfm["M_score"] = rfm_score(log1p_series(rfm["M"]))这里最容易被忽略的是reverse=True。R是越小越活跃,所以活跃度最高的20%用户必须拿到5分,于是把标签序列反转,让R最小的区间对应5分。log1p之所以加在F和M上,是因为这两个量级差出几个数量级,直接分位数切分会让大量低价值用户挤在同一档,变换之后再分档更接近业务直觉。最终三列评分拼起来,就能映射到用户分群。
def seg(row): r, f, m = int(row["R_score"]), int(row["F_score"]), int(row["M_score"]) if r >= 4 and f >= 4 and m >= 4: return "高价值用户" if r < 3 and f >= 4 and m >= 4: return "重点保持用户" if r >= 4 and f < 3: return "重点发展用户" if r >= 4 and m >= 3: return "潜力用户" if r < 3 and f < 3 and m < 3: return "一般用户" return "潜力用户" rfm["人群"] = rfm.apply(seg, axis=1)这套8类到5类的映射规则是可调参数。比如“重点保持用户”的判定如果太松,会让唤醒运营的人头过大,可以把f >= 4改成f >= 5再观察人数分布。每次调整边界后,都应该输出一版人群占比表,如果某一个群体占比超过50%或低于5%,说明边界或者打分逻辑需要回看。分群标签是可视化系统里最核心的维度,后面所有图表都围绕它展开,所以建议把最终人群标签单独落成一张Parquet表,Web服务直接读表,不再重复计算RFM全流程。
提示:分位数打分会让五个档位的人数接近,但不会完全相等。如果某档出现0人,检查一下
duplicates="drop"是否把重复边界合并了,必要时改用pd.cut并人工设定边界。
3. 可视化系统选型与Flask后端接口
3.1 为什么用Flask加pyecharts:BI工具和Matplotlib的边界
RFM的结果最终要被人用起来。我在第一个版本里用Matplotlib画了六张静态图发给运营,结果对方每看一次我都要重新跑一遍,数据稍微变动就得重发,沟通成本非常高。后来尝试过Tableau和Power BI,接入流程复杂,且数据要导出到外部工具,很多团队不允许这样处理客户数据。最后落到Flask加pyecharts的路线:pyecharts底层是ECharts,交互能力完全满足需求,悬停显示明细、点击下钻、图例联动都支持,而且配置对象是Python字典,不用在前端写大量JavaScript。
架构拆分通常分三层。第一层是上一章的RFM计算模块,输出DataFrame并落盘;第二层是Flask路由,把落盘结果按前端请求参数转成JSON;第三层是模板渲染,用render_embed()把图表HTML嵌进看板页面。这样拆分的好处是数据计算、接口逻辑、前端展示三者独立,后面把计算换成Spark或SQL,接口和页面不用改动。Web服务不承担任何复杂计算,只负责读结果文件并组织输出,所以性能瓶颈完全集中在批处理阶段,不会出现用户刷新页面时后端现算导致超时的情况。
如果你只有几十万用户,直接用pandas读Parquet文件并缓存到内存里毫无压力。Flask这里还有一个隐性优势:它是纯Python应用,能直接复用上一章的RFM计算模块,不需要像Java服务那样单独做数据模型对齐。不过要提醒一点,如果用Flask自带的开发服务器跑生产环境,最好换成gunicorn或者uWSGI,这里不展开部署细节,但接口并发和超时是生产化的第一道门槛。
3.2 后端接口设计与缓存策略
接口层要做的事很简单:读取前端传来的筛选参数,调用RFM结果文件,返回JSON。下面是一个最小可运行的Flask应用骨架。
from flask import Flask, jsonify, request, render_template import pandas as pd app = Flask(__name__) _cached = {} def load_rfm(): if "rfm" not in _cached: _cached["rfm"] = pd.read_parquet("rfm_result.parquet") return _cached["rfm"] @app.route("/") def index(): return render_template("index.html") @app.route("/api/rfm_summary") def rfm_summary(): days = request.args.get("days", default=90, type=int) rfm = load_rfm() # 按窗口截断,只保留窗口内活跃的用户记录 recent = rfm[rfm["recency"] >= pd.Timestamp("2024-12-31") - pd.Timedelta(days=days)] summary = ( recent.groupby("人群") .agg(人数=("user_id", "count"), 人均消费=("M", "mean"), 最近消费中位天数=("R", "median")) .reset_index() ) return jsonify(summary.to_dict(orient="records")) if __name__ == "__main__": app.run(host="0.0.0.0", port=5000, debug=True)这里的核心是load_rfm。每次请求都重新读文件不现实,我使用模块级全局缓存字典,第一次读进来之后后续直接复用。如果RFM结果文件每天都更新,缓存需要按日期失效,常见做法是在文件名里带上日期,每次请求检查文件修改时间,变了再重新加载。另一个性能优化是把summary.to_dict(orient="records")的列名固定为英文或拼音,避免中文编码在传输时出问题。days参数控制统计窗口,这个设计会在第6章做时间筛选时直接用上。接口没有做异常处理,实际项目里建议用try/except包一层,返回固定的错误JSON结构,前端错误提示才统一。
3.3 接口数据格式与前端页面配合
可视化系统的页面风格最终取决于接口返回的数据结构。我建议一个图表对应一个接口,不要做一个万能接口返回全量数据,这样占带宽不说,前端还要自己过滤分组。比如散点图需要每个用户的R、M值和人群标签,接口返回数组对象;饼图只需人群聚合结果;表格需要带汇总指标。
[ { "user_id": 10001, "R": 3, "F": 7, "M": 1286.0, "人群": "高价值用户" } ]前端拿到这种数组后,按人群字段拆成多个series再传给图表组件。如果数据量比较大,接口层需要采样。几十万条记录直接推到浏览器,散点图卡成PPT是意料之中的。我在rfm_summary之外的明细接口里加了一个sample参数,服务端做随机抽样,默认取5000条。采样逻辑放在接口层而不是计算层,因为RFM的聚合结果仍需要全量算,只有展示给浏览器的那一步才需要抽样,避免因为展示需求污染计算口径。接口返回的字段名尽量用简短英文或拼音,避免中文编码问题,但表格里的展示列可以在前端映射成中文标题,这个后续会提到。
4. pyecharts图表实现与看板渲染
4.1 三个主图表:占比饼图、R-M散点、人群雷达
核心看板的第一张图通常是人群占比饼图,回答“用户结构长什么样”。第二张图是R-M散点图,把每个用户按“最近多久没来”和“累计花了多少钱”两个维度铺开,颜色代表人群。第三张图我常用雷达图展示各分群在R/F/M三维上的均值特征,一眼就能看出高价值用户是“三高人群”。
from pyecharts import options as opts from pyecharts.charts import Pie, Scatter, Radar def pie_chart(summary_df): data = list(summary_df[["人群", "人数"]].itertuples(index=False, name=None)) c = Pie() c.add("", data, radius=["30%", "75%"]) c.set_global_opts(title_opts=opts.TitleOpts(title="用户人群占比")) return c def scatter_chart(rfm_df): c = Scatter() for group in rfm_df["人群"].unique(): sub = rfm_df[rfm_df["人群"] == group] c.add_xaxis(sub["R"].tolist()) c.add_yaxis(group, sub["M"].tolist(), symbol_size=8) c.set_global_opts( xaxis_opts=opts.AxisOpts(name="R值(天)", type_="value"), yaxis_opts=opts.AxisOpts(name="M值(元)", type_="log"), ) return c饼图的radius参数控制环形内外半径,环形中空区域可以放一个总人数,视觉上更聚焦。散点图的y轴用type_="log"是M值长尾分布下的最实用设置,否则几个头部大客户直接把纵轴拉爆,其他几千个点全挤在底部。R值轴展示原始天数,而不是打分后的档位,因为业务上“15天没来”比“R打了3分”更直观。symbol_size=8是折中经验值,点太大互相遮盖,点太小鼠标悬停区域不好点。雷达图需要把各分群的均值先聚合好再传入,值的范围最好统一到1到5分档,否则M的原始数值量级会压掉其他两个维度。
def radar_chart(grouped): c = Radar() c.add_schema([ opts.RadarIndicatorItem(name="R近度", max_=5), opts.RadarIndicatorItem(name="F频次", max_=5), opts.RadarIndicatorItem(name="M金额", max_=5), ]) for group, row in grouped.iterrows(): c.add(group, [[row["R均值"], row["F均值"], row["M均值"]]]) return cgrouped里存储的是每个分群在R_score、F_score、M_score上的均值,取值范围天然在1到5之间,雷达图的坐标轴统一用max_=5,这样三个维度才可比较。雷达图的优势是能快速识别出高价值用户群体是否“三高”,以及流失型用户是否“三低”。如果某一维度均值和其他维度差距过大,需要回到打分逻辑里检查是不是分位边界出了问题。图表输出之后,下一步是把它们嵌入到Flask的模板中。
4.2 将图表嵌入Flask模板:本地ECharts配置
pyecharts生成的是一整套独立的HTML页面,直接嵌入Flask模板时容易踩坑。最简单的方案是用render_embed()方法,把图表组件序列化成一段内联JavaScript,直接塞进模板中。这样页面不依赖外部CDN,也不会出现容器找不到导致白屏的情况。
@app.route("/dashboard") def dashboard(): rfm = load_rfm() summary = load_summary() pie = pie_chart(summary) scatter = scatter_chart(rfm) return render_template( "dashboard.html", pie_html=pie.render_embed(), scatter_html=scatter.render_embed(), )render_embed()返回的HTML片段里包含了初始化图表的<script>块,模板中只需要准备两个<div>容器并用| safe过滤器防止Jinja2转义。如果页面空白,第一步看浏览器开发者工具的控制台报错。pyecharts默认从CDN加载ECharts库,公司内网访问外网受限时,页面会一直处于加载中止状态。解法是下载一份echarts.min.js放到static目录,然后通过CurrentConfig.ONLINE_HOST指向本地路径,或者手动在模板的<head>里引入本地资源。CurrentConfig属于全局配置,最好在Flask应用启动函数中统一设置,避免在请求里反复修改。图表的数据量如果很大,配合上一章的接口采样会让加载体验好很多。一个页面放三到四个图完全没有问题,但如果超过六个,首屏渲染会明显变慢,一般把核心图放到第一屏,其余折叠展示。
4.3 人群特征表格与前端表格渲染
图表负责宏观视角,表格负责回答“这群人到底是谁”。看板底部放一张人群特征汇总表,列包括人群名称、人数、总消费金额、人均消费金额、人均订单数、最近一次消费中位天数。这张表直接从RFM结果文件聚合生成,不需要额外接口。表格的字段命名要符合业务习惯,比如R列写成“最近消费中位天数”,F列写成“人均订单数”,M列写成“人均消费金额”,数值保留两位小数,再给一个“人群解读”字段,把运营方向用一句话写进去。
summary = rfm.groupby("人群").agg( 人数=("user_id", "count"), 总消费金额=("M", "sum"), 人均订单数=("F", "mean"), 最近消费中位天数=("R", "median"), ).reset_index().sort_values("总消费金额", ascending=False)这张表的作用是降低阅读门槛,读者不用再理解打分规则,直接看图理解人头。如果分群方案有8类,表格就有8行,建议默认按总消费金额排序,前5行展示主要价值贡献群体。表格数据的数值类型在JSON输出时会自动转换,int64和float64都会被序列化,前端做千分位格式化即可。我习惯把sort_values参数放在聚合后立刻执行,而不是放到前端排序,否则你很难控制表格的初始顺序。
5. 避坑/常见问题/排查:RFM可视化系统的6个高频踩坑点
RFM看起来简单,落地时有一堆隐蔽问题。下面几条都是真实项目里踩过的坑,按现象、原因、解决列出来,可以直接当排查清单用。
5.1 口径与数据类:两次结果对不上、分群失衡、退款单脏数据
现象:同一天内跑两次脚本,人群分布完全不一样。
原因:代码里用了pd.Timestamp("today")作为参考日期,R值随日期变化,分位数边界也跟着漂移。
解决:参考日期固定为显式参数,最好是调度系统传入的批次日期。我在代码里统一使用REF_DATE,每次跑批时检查这个值是否与该批次一致。把这个检查写成一个单元测试,能避免大多数“玄学结果”。
现象:饼图上某一个人群占到80%,其余人群都只有个位数。
原因:F和M分布严重右偏,等距分箱导致大量用户落在低分档。业务上只有少数用户在频繁购买,均值被极端值拉高,直接切分肯定失衡。
解决:先对F和M做log1p变换,再使用pd.qcut按20%分位数切档。分箱后输出各档位的人数占比,如果某一档超过40%,回头检查边界定义。另一个办法是改用RFE模型,但这就不是RFM本身了,我建议还是在打分层调整。
现象:某用户M值显示5万元,实际只买过一件99元商品。
原因:订单表里整单退款记录没有被过滤,聚合时把退款金额算进了M,订单数也算进了F。
解决:清洗阶段先剔除退款单。整单退款直接按负金额过滤,部分退款要按订单状态单独判断。加一道验证:统计窗口内退款订单数量占比,如果超过5%,多半是过滤规则没有覆盖某种退款状态。口径统一写在清洗脚本注释里,避免换人接手时破坏规则。
5.2 图表与性能类:pyecharts白屏、时区偏移、散点图卡顿
现象:看板页面图表区域空白,F12控制台报错指向CDN资源加载失败。
原因:pyecharts默认从外部CDN加载ECharts,公司内网环境无法访问,初始化脚本执行失败。
解决:把ECharts库下载到本地静态目录,并设置CurrentConfig.ONLINE_HOST指向本地地址。模板中引入本地echarts.min.js后,render_embed()的内联脚本才能正常工作。另一个隐蔽原因是图表函数里某个字段名为空,比如人群字段缺失导致unique()报错,前端拿到不全的数据也不会初始化。这里建议在后端接口中打印一条日志,记录每次返回的记录数。
现象:用户最近一次消费是北京时间晚上10点,计算后R值多了一天,活跃用户被误判为沉默用户。
原因:pay_time存的是UTC,pandas解析时没有指定时区,日期差计算自然偏移。
解决:读取时统一pd.to_datetime(..., utc=True),再dt.tz_convert("Asia/Shanghai"),之后才参与R值计算。补一条固定样例的单元测试,确保晚间订单的R值符合业务日历。时区问题单独建一个数据流检查点,每次清洗先输出日期边界统计,再跑RFM。
现象:50万用户的散点图在浏览器里拖动、缩放掉帧明显。
原因:前端同时渲染太多图形节点,每个点都绑定了交互事件,ECharts处理不过来。
解决:接口返回散点数据前做采样,默认只保留5000个点,并用sampled模式开启ECharts的降采样渲染。采样参数保留成接口入参,管理员可以关闭采样看全量,默认不开启。同时散点图数据只包含user_id、R、M、人群标签,不要传递订单明细或历史序列。
6. 进阶:给可视化系统加时间筛选与人群下钻
6.1 时间筛选的前后端联动
固定窗口的看板已经能回答“用户结构长什么样”,但运营真正需要的是“自己动手改条件”。最常见的时间筛选实现很简单:前端加一个下拉框,把选中窗口传给后端接口,后端重新聚合并返回新的图表数据。代码上就是改一个days参数。
async function refresh(days) { const res = await fetch("/api/rfm_summary?days=" + days); const data = await res.json(); renderPie(data); }这里有一个容易被忽略的口径问题:切换窗口后,参考日期是否要固定?如果只改F和M的窗口,R的参考日期必须保持不变,否则R值会随日期变化,两个窗口就没法对比。我的做法是参考日期固定为调度日期,窗口参数只影响F和M的计算范围。业务如果想看“近30天”和“近90天”的差异,直接在接口传不同days值即可。
6.2 人群下钻与链路验证
人群下钻更适合在饼图上做:点击某个扇区,前端请求一个明细接口,返回该人群的用户ID列表和关键指标。这个接口不返回全量,只返回前100行,并带上人群标签和生成时间戳,防止前端展示的口径和饼图对不上。每次做下钻时,后端可以在DataFrame层直接过滤,无需重新算RFM。
验证整个链路有一个简单方法:挑两个用户,手工在订单明细里算出R/F/M,再对照页面上该用户所在的人群,校验分群逻辑是否一致。如果对不上,先检查参考日期和清洗规则,再检查分位数边界。这个方案做到这里,已经是一个可以交付给业务方的成品看板。我自己最大的教训是不要把图表和数据全堆在一个页面,运营第一眼抓不到重点等于没做;把主视图精简成一个仪表盘加一个筛选栏,使用频率才会上去。希望帮到你。
本文还有配套的精品资源,点击获取