拆开百万月活的 AIHOT,我看到了一条会自己出版的行业情报流水线
说实话,我第一次刷到 AIHOT 的时候,心里冒出来的问题是:这玩意儿看起来就是一个热榜聚合页,凭什么能堆到百万月活?我自己做过内容社区,知道这类产品最大的敌人不是竞品,而是“更新不动”——编辑会累,选题会枯,热点会断。但连着观察了几天后我发现,AIHOT 的内容更新节奏稳定得不像人干出来的活,摘要写得有模有样却又不带人工痕迹,排序逻辑偶尔怪诞但整体始终在变。于是我做了一个决定:不看了,拆吧。
我把整个拆解过程当成一次逆向情报分析来做,不带情绪,只看数据流。最终我看到的不是某个精妙的推荐算法,而是一条从信源采集、清洗去重、打分排序、自动摘要,再到多平台分发的完整自动化流水线。这条流水线的每一个环节都在做减法,都在对抗噪声,都在想办法用最低成本产出“足够好”的情报。这篇文章就是我对 AIHOT 这套体系的全部分解记录,包括它为什么能“自己出版”,以及如果我们想复刻出一套类似的情报系统,需要先想清楚哪些事。
1. 拆解入口:AIHOT 到底在解决谁的什么问题
我决定先搞清楚产品定位,因为任何系统的架构都是被用户需求逼出来的。AIHOT 如果只是做一个“AI 新闻聚合站”,那它走不到百万月活,因为单纯聚合内容的替代品太多,大厂资讯客户端、即刻圈子、公众号都能干这事。它真正卡住的场景,是 AI 行业从业者的一种“情报焦虑”。
1.1 目标用户与其真实动机
我认识的做 AI 产品和研究的人,几乎都有一个共同习惯:每天至少花二十分钟刷各类行业信息源。他们不是闲,而是怕漏。模型出了一版新能力、某个开源项目悄悄上了热榜、某家创业公司发了篇技术博客,这些信息可能直接影响当天的技术选型、选题方向或者投资判断。但问题在于,AI 行业的信息增长速度早就超过了个人可以手工跟踪的上限。你要盯 arXiv、GitHub Trending、Hugging Face、Reddit、Twitter、公众号、知乎,还要关注几十家公司的官方博客,这根本做不完。
AIHOT 解决的就是这件事:用一条流水线把行业情报从“需要主动去搜”变成“每天送到眼前”。它记录的是 AI 领域全网的动态,并且用热度排序告诉用户“今天什么值得看”。所以它的用户画像很清晰:AI 从业者、科技媒体编辑、投资人、以及对 AI 保持高频关注的技术爱好者。这群人有一个共同特点,就是他们不是来看娱乐新闻的,他们是来“工作时顺便消遣”的,这种动机决定了用户粘性远比普通资讯产品高。
1.2 从产品形态反推系统边界
我扒了下 AIHOT 的外在形态,能看到几个关键特征。第一,它的列表页结构非常克制:每条内容就是标题、来源、热度标签、摘要,没有花哨的封面图,没有短视频推荐位,这种极简设计明显是为了让用户在最短时间内扫完当天情报。第二,它的更新频率极高,很多条目从出现到沉底基本就是几个小时的事,这种日内多次更替的节奏,人工编辑不可能持续维护,成本上不划算。第三,它的内容来源覆盖面非常广,能看到 arXiv 论文、GitHub 仓库、公司官方博客、科技媒体、英文社区,这种广覆盖必然要求自动化采集。
这几个特征一叠加,基本可以断定:AIHOT 的内核不是一个“编辑团队”,而是一个“数据管道”。产品表面是热榜,里面是一套实时运转的情报处理和分发系统。我后续所有的拆解,都是围绕这条管道的关键节点展开的。
2. 上游情报采集:为什么“全量爬取”是条死路
拆完产品形态,第一个要搞清楚的问题就是:它的数据从哪来,怎么做到更新又快又稳还不用吃版权官司。很多人第一反应是写个爬虫全网抓,但实际做过信息聚合的人都会告诉你,全网抓是一条死路,因为信噪比太低了。AI 领域每天产生的信息里,可能有百分之八十是无意义的转发、蹭热点的标题党、水稿、垃圾 SEO 页面。如果全量抓进系统再慢慢过滤,计算成本高不说,排序环节很容易被劣质信息淹没。
2.1 信源的分层策略才是真正的护城河
我观察 AIHOT 的内容构成,能明显感觉到它在信源上做了严格的分层。大致可以分成四类:
| 信源层级 | 典型示例 | 采集策略 | 在系统中的角色 |
|---|---|---|---|
| 官方一手源 | 各大 AI 公司官方博客、arXiv、GitHub Trending、Hugging Face | 高频轮询 RSS 或 API,拿第一手发布 | 权威信号,质量锚点 |
| 专业媒体源 | 机器之心、量子位、TechCrunch、The Verge 的 AI 板块 | 中频采集,清洗转载类内容 | 行业解读,提供上下文 |
| 社区讨论源 | Reddit 的 r/MachineLearning、Hacker News、V2EX、即刻 | 低频深挖高赞帖 | 捕捉“从业者真实关注点” |
| 数据源 | GitHub Stars 增长、PyPI 下载量、模型榜单 | 定时快照对比 | 客观热度信号,防嘴炮 |
这层分级非常聪明。官方源保证内容的准确度和首发速度,媒体源负责提供解读和传播广度,社区源抓的是“人”的真实兴趣,而数据源则是把代码仓库的 star 增长、模型下载量这些硬指标纳入排序,减少了纯标题党刷出来的热度。如果你自己搭情报系统,我强烈建议先做信源分类,而不是直接堆 API。分类的意义在于:不同信源的更新频率、权威度、内容形态完全不同,统一采集后面临的清洗复杂度会爆炸,分开处理才能用差异化的策略去应对。
2.2 去重和清洗:决定流水线生死的一个环节
信源一多,问题立刻来了——同一件事可能同时出现在 arXiv 论文、媒体解读、Reddit 讨论、公司博客这四个信源里。标题可能完全不同,比如论文标题是“Efficient Attention Mechanism with Linear Complexity”,媒体报道可能写成“新研究把注意力机制提速 10 倍”,Reddit 帖子可能叫“这个 attention 改进有点东西”。如果不做去重,用户一天会看到同一条新闻出现四次,体验迅速恶化。
AIHOT 的去重思路大概率不是简单字符串匹配,而是走了文本相似度计算加上多维特征校验的组合路子。对于英文标题,用 SimHash 或 MinHash 这类算法把标题映射成指纹,再比较海明距离;对于中文标题,还要先分词再算向量相似度,因为中文语序稍微一变意思不变,单纯字面匹配根本拦不住。同时会把 URL 的规范化、作者/机构的映射一起加进去,判断“这条媒体的报道是不是在转述前一天那条官方发布”。
清洗这块还有几件不得不做的事:广告追踪参数要从链接里剥掉,图片要统一走自己的代理做缓存,HTML 转纯文本时要把导航栏、评论区这些噪声去掉。我见过很多个人开发者做聚合站,死在去重这个环节,要么一条新闻出现五次导致用户流失,要么误伤太狠把不同角度的优质内容全砍了。AIHOT 能做到内容列表干净有序,说明它在去重阈值上做过大量调参,宁可错杀一些疑似转载,也要保住列表的可扫读性。
2.3 版权与合规:自动聚合必须过的一道坎
做自动聚合的人容易忽略一个风险:全文抓取然后展示,在版权上非常危险。仔细观察 AIHOT 的做法,它展示的只是标题和一段摘要,正文链接跳转到原始来源,这其实是内容聚合产品最标准也最安全的姿势。摘要本身就是“事实性信息”的转述,加上链接跳转引流,严格来说是行业通行的合理引用范畴。如果你要自己搭流水线,这块务必学它:只聚合标题、摘要和来源链接,千万不要把原文全文扒下来存到自己的库里,那是给自己埋雷。
3. 排序与选题:一条热榜的诞生,绝不是按点击量排的
数据实时进来以后,下一个核心环节是打分排序。很多人以为热榜就是按浏览量倒序排,谁看的人多谁在前面。但如果真这么干,AIHOT 的榜单就会永远是那几个头部大 V 的帖子,新内容根本没有出头机会,用户刷两天就会腻。我观察到的现象是:它的榜单里经常出现一些阅读量未必高、但在技术圈内部讨论很热烈的条目,这说明排序系统里一定有“质量信号”和“权威度信号”在发挥作用,而不仅仅是流量。
3.1 热度分与时效衰减的动态平衡
我推测 AIHOT 的排序逻辑是把多个维度的特征做加权合成,最终得到每一条内容的热度分,按分数递减展示。可以用一个不精确但很能说明问题的形式来理解它,类似这样:
hot_score = (base_quality * source_weight + interaction_boost) * time_decay_factor每一项展开去看:base_quality 是内容自身的质量分,可能来自标题与正文的匹配度、是否包含具体技术名词、是否有原作者背书等特征;source_weight 是信源的权威度权重,arXiv 论文和官方博客高,自媒体转载低;interaction_boost 则来自外部信号,比如 GitHub star 的增长速度、Reddit 帖子的点赞率、Twitter 的转推量,这些反映了社区的真实反应。最后的 time_decay_factor 是关键,AI 行业的信息半衰期极短,昨天的新模型今天就是旧闻,所以衰减曲线必须比传统新闻更陡。
为什么不能只看点击量?因为点击量是一种被标题党严重污染的指标。一个帖子叫“震惊!AI 要取代程序员了”,点进去是软文,浏览量骗进来了,但用户没有任何获得感,平台的信任被消耗一次。真正的从业者关心的是“今天哪个模型发布了”“哪篇论文提出了新架构”,这类内容初期浏览量不高,但讨论质量高,后续传播带来的长尾价值更大。AIHOT 愿意给这类内容机会,本质上是在维护产品的长期信用。
3.2 编辑权力下放给系统,但保留人工干预接口
我一度怀疑 AIHOT 是纯算法排序,后来发现它的榜单里偶尔会出现一些算法很难衡量、但明显是编辑有意置顶的内容,比如某个重要开源项目的综合盘点。合理的推断是:这套自动化流水线预留了人工干预接口,运营人员可以用白名单、置顶、加权等方式影响排序,但日常调度完全交给系统执行。这种“自动化为主、人工兜底”的架构,我认为是 AIHOT 能长期稳定运营的关键。
对个人开发者而言,这个设计也值得学习。不要太迷信纯算法,因为算法不理解“上下文”。比如 GPT-4o 发布那天,全网刷屏,如果按常规打分排序,它可能反而因为爆发太猛被系统识别为异常流量而压下去;但编辑看一眼就知道这是本季度最大新闻,必须置顶。系统负责处理日常,人负责处理例外,这个配合在效率和质量之间找到了平衡点。
3.3 标题党与噪声识别是留存的生命线
做情报聚合产品,最致命的问题不是漏掉新闻,而是榜单里塞满了噪声。AI 行业尤其严重——几乎每天都有人说“我们的模型在某个基准上超过了 GPT-4”,你如果什么都推给用户,用户十分钟就烦了。AIHOT 的过滤策略应该在好几个层面同时进行:标题级特征过滤,把“震惊”“重磅”“必看”这类高熵词降权;内容级去重,把同一事件的变体标题聚类成一组;来源级信用记录,对经常发布低质量内容的来源整体降权。这些策略叠加在一起,才让它的列表保持了很高的可扫读性。
4. 自动摘要与“会自己出版”:从数据到内容的分发闭环
这一节是我整篇拆解里最想写清楚的部分,也是 AIHOT 这个产品最反直觉的地方。很多人都能做出一套爬虫加热度和排行榜,但只有极少数产品能做到“每逢固定时间,内容自己就变成一篇篇可读的帖子或报告,被发布到各个平台”的状态。这正是标题里说的“会自己出版的行业情报流水线”。
4.1 摘要生成:不需要大模型缝缝补补,但要刻意混搭
AIHOT 每条内容都带了一段摘要,风格高度一致但又看不出明显的模板感。我推测它的摘要生成链路是混合式的:先抽取原始正文的首段或核心句,再做关键词高亮和少量改写,最后拼上来源和时间信息。这种做法的好处是成本低、速度快、稳定性极高,不像用大模型生成那样偶尔会出现幻觉,适合每天几百条的量级。
如果你想自己实现,我建议分两层走。第一层是“抽取式摘要”,直接取内容的开头几段或者包含核心名词最多的句子,剪掉冗余修饰;第二层是“生成式改写”,可以接一个文本生成模型,把抽取结果重写成更通顺的表达。实践中你会发现,抽取式已经能解决七八成的问题,生成式主要用来对付那些原文写得稀烂的信源。关键技巧是:摘要别贪长,两到三句话,点出“谁发布了什么、有什么影响”就够了,用户真正要看的是那篇文章本身,而不是你的摘要。
4.2 多平台自动出版:把一次编辑变成无数次分发
AIHOT 的“出版”能力体现在多个端口:你可以通过它的网页端看热榜,也可以通过推送渠道收到每日精选。再叠加它对 Telegram Channel、微信公众号、邮件简报这类渠道的支持,本质上就是把同一条情报,用不同的形式和篇幅,自动分发到不同平台。这个设计思路非常值得学习——内容生产的边际成本已经压到极低,那么分发渠道越多,单位成本带来的触达就越大。
出版系统的核心是模板引擎加调度器。底层的每一条内容都有一个统一的结构化数据格式,包含标题、摘要、链接、来源、热度、标签。网页端直接渲染列表;电报频道用 Bot API 推送带 is_autopublish 标记的消息;邮件简报则按天聚合出当日 Top 新闻,生成长文。排版、封面图、导语这些都可以做成模板参数,由系统自动填入。这样一来,“出版”就不再是需要人盯着做的事,而是一个按时触发、自动完成的后台任务。
4.3 反馈回流:出版完之后,流水线才走完一半
自动出版如果不带反馈回流,那它只是个单向广播机器人,谈不上情报流水线。我观察 AIHOT 的榜单动态,发现它有明显的学习迹象:用户在网页上点击了哪些条目,在推送渠道里打开了哪些链接,停留了多长时间,这些行为最终都会回流到排序模块,变成下一次排序时的权重修正。点击率高但跳出也高的内容会被降权,点击率高且阅读时长长的内容会被加大权重,这本质上是一种在线学习式的推荐。
还有一个细节容易被忽略:为什么 AIHOT 把“出版”而不是“制作”当成闭环的终点?因为出版到不同平台后,那些平台的互动数据本身就是极好的反馈信号。一条内容在 Telegram 里被转发很多,说明它确实戳中了从业者的需求点,这个信号可以被采集回来,作为质量分的一部分。于是整条流水线变成了一个滚动增强的环:采集情报,生成内容,自动发布,回收反馈,优化排序,再去采集更好的情报。每一次循环,系统对“好内容”的理解都更精确一点。
5. 百万月活背后的增长杠杆与产品局限
拆到这里,技术路径已经比较清晰了,但还有一个问题没有回答:一条自动化流水线是怎么从零做到百万月活的?没有团队天天发内容,没有运营在评论区维护,增长靠什么?我的结论是:AIHOT 的增长不是靠冷启动投放,而是靠“可订阅的信息服务”这个属性,踩中了一个极其特殊的增长飞轮。
5.1 订阅制信息差:情报服务的天然传播力
AIHOT 做的不是社交产品,而是“情报服务”。社交产品需要用户关系链才能滚起来,但情报服务有一个特性:我分享给你一个情报源,不会削弱我的使用价值,反而因为你也用它,我们可以有共同话题。这种“分享无损”导致它的传播成本极低,从业者之间互相推荐“你去刷 AIHOT 了吗”几乎是顺手的动作。再加上 AI 行业本身是全网讨论度最高的领域之一,相关的每条热点新闻都在替 AIHOT 做外部拉新——当一个用户在别处看到某个 AI 大新闻,跑来 AIHOT 搜索相关信息时,他就完成了第一次转化。
冷启动阶段怎么做?我看到 AIHOT 的历史痕迹推测,它早期应该先用免费榜单向特定圈层用户提供了极大的信息增量,这批种子用户在开发者社区里发出“这个站不错”的反馈,然后才形成裂变。对个人开发者来说,这个思路是可以抄的:不要去推广大而全的资讯平台,先切一个垂直人群(比如大模型从业者、AI 产品经理、独立开发者),把他们的情报服务做到极致,让前一千个用户觉得“不用它就漏信息”,后续增长自然发生。
5.2 数据飞轮:流量越大,系统越聪明
AIHOT 还有一个藏在暗处的优势,就是它的数据飞轮。普通内容网站的数据飞轮是“内容越多,用户越多,贡献的内容越多”,但 AIHOT 的数据飞轮是“流量越多,用户行为反馈越多,排序越准,用户越依赖”。排序越准意味着用户每次打开都能高效刷到值得看的信息,打开率、停留时长都会上升,留存自然变好。这套飞轮和前面说的出版闭环是协同工作的:出版渠道带来流量,流量带来行为数据,行为数据优化排序,排序优化让订阅价值更高,进而带来更多的分享和传播。
这也是为什么我们看 AIHOT 的榜单会觉得“越刷越懂我”。它不是靠一个算法黑箱在推内容,而是靠日复一日的行为反馈累积出来的系统敏感性。这个积累过程一旦建立就很难被轻易复制,因为它需要海量的优质行为数据,并且这些数据反过来又沉淀成了产品的护城河。
5.3 说点泼冷水的话:我观察到的产品隐忧
拆解不能只唱赞歌,AIHOT 这套模式也有明显的边界和隐忧。首先是过度依赖上游信源的问题:如果哪天 Reddit、Twitter、或者某些主流媒体的 API 策略变了,采集链路就面临重构风险,这在历史上发生过不止一次。其次是自动摘要的规模瓶颈:抽取式摘要在信源质量参差不齐时会显得生硬,随着规模扩大,低质量信源混入的风险也在上升,需要持续维护信源黑名单。第三是商业化路径尚未清晰:情报聚合产品的用户时间很宝贵,做广告会伤害体验,做付费订阅又需要更深的用户价值分层,怎么变现聪明地点需要慢慢试。
还有一点容易被忽略:自动出版系统一旦失控,风险是放大的。如果某天采集器抓到一条假新闻,摘要生成器又把它包装成了可信报道,多平台自动推送会让假信息瞬间铺开。所以做这类产品的人必须设计人工审核通道和紧急撤回机制,给系统装一个急停按钮。AIHOT 大概率内部是有这类机制的,只是从外部看不出来而已。
6. 可复用的实操建议:从零搭一条专属情报流水线的最小方案
拆了半天,如果你心动了,也想搭一套自己的行业情报流水线,这一节就当操作手册看吧。我会按投入从小到大,给你三条路径,分别对应个人尝鲜、小团队工具、以及想要做成产品的进阶方案,每一条都尽量具体到可以直接动手。
6.1 个人尝鲜版:写一个 200 行的定时抓取脚本
最简单的一套方案,是用脚本连接 RSS 和 API,抓取你关注的几十个信源,做一次简单的标题去重,按发布时间倒序输出到一个网页或者 Markdown 摘要文件里,再用 cron 定时执行。你不需要构建复杂的排序算法,也不需要自动出版,只需要满足“每天自动汇总给我看”就够用。技术栈可以是 Python 加 Feedparser 加 Jinja2 模板,部署在任意一台云服务器上,每天推送一次邮件摘要。这套方案的价值在于帮你跑通全流程,理解各个环节的痛点和成本。
6.2 小团队实用版:在最小方案上叠加排序与多端分发
当你不满足于“自己看”之后,可以把系统升级成小团队工具。在采集层加入信源权重分类和清理逻辑;在数据处理层引入 SimHash 做跨源去重;在展示层做一个简单的热度排序,先用静态权重,不需要复杂的机器学习;在分发层加入 Telegram Bot 或者企业微信机器人,定时推送每日重点。这一套下来大概需要一周的开发量,但你会获得一个真正“会自己出版”的情报机器人。重点提醒:这个阶段最重要的不是堆功能,而是把去重做好,信噪比决定工具的生命力。
6.3 进阶产品版:如果你想做成 AIHOT 这样的产品
做产品版面临的问题完全不同。你需要建立自己的信源管理系统,支持运营人员在后台增删信源和调整权重;需要一套在线学习式的排序服务,采集用户行为回传;需要自动出版系统对接网页端、移动端、推送服务;还需要完整的版权合规审核和紧急撤回机制。技术架构上可以采用消息队列做数据管道,把采集、清洗、打分、分发拆成独立的服务节点,用工作流引擎串起来,以便在任何一个环节出问题时可以单独修复,不影响整条流水线运转。这个版本的工程量已经不是一个人闲余时间能搞定的,但它的成果也不再是一个玩具,而是一个具备数据飞轮潜力的正式产品。
结尾:说说我拆完之后的三个真实体会
拆完 AIHOT,我最深的感受是:这个产品的核心竞争力从来不在某个惊艳的算法,而在于把一件看似不复杂的事情,用流水线的方式做到了别人做不到的稳定和完整。第一个体会是,自动化内容系统最容易翻车的地方往往不是技术难点,而是那些你一开始觉得“差不多就行”的环节——去重阈值、信源分类、审核兜底,每一项都需要反复打磨。第二个体会是,“会自己出版”这个能力在未来内容行业里会越来越重要,人工创作会升级为人工定义框架、系统负责规模和分发,谁能把提示词变成自动化的生成与发行网络,谁就能占据新的生态位。第三个体会是,别迷信技术复杂度,先跑通最小的闭环,哪怕第一版产品丑得没眼看,只要闭环成立了,后面的一切迭代才有依托。
如果你也准备动手搭一条行业情报流水线,我建议你从一个极窄的领域开始,比如只跟踪大模型论文和开源项目,先服务好自己,再慢慢放开。每多一个信源、多一个输出渠道,系统都会变得更复杂一点,但只要“采集—清洗—排序—出版”这条主干不乱,旁支再杂也能撑住。拆别人的产品最好的收获,就是找到一条自己能走的路。