本文探讨了检索增强生成(RAG)应用中检索内容“伪相关”的问题,并介绍了Jev架构如何通过在检索与生成间加入语义评估阶段来解决。Jev通过并行评估候选段落的相关性,有效筛选出高质量证据,避免LLM产生幻觉。文章详细拆解了Jev的四个阶段:广泛检索、批量语义评分、策略与判断分离、全局闸门控制,展示了其如何提升RAG应用的可靠性与效率,为构建企业级AI应用奠定基础。
在构建基于检索增强生成(RAG)的应用时,我们常常面临一个核心痛点:检索到的内容看似相关,实则无用。混合搜索(Hybrid Search)虽然能结合关键词匹配和语义相似度,筛选出一份高质量的候选片段短名单,但它存在一个根本性的盲区——它无法判断这些段落是否真正包含回答用户查询所需的确凿证据。
一个段落可能因为包含了与查询相同的术语,或者在向量空间中距离查询很近而获得高排名,但这并不意味着它能作为生成答案的可靠依据。它可能只是讨论了相似的主题,却缺乏具体的事实支撑;或者信息过于碎片化,不足以让模型形成完整的逻辑链条。这种“伪相关”不仅浪费计算资源,更会导致大语言模型(LLM)产生幻觉或给出误导性答案。
为了解决这一问题,Jev 引入了一种全新的架构理念:在传统的“检索”与“生成”之间,插入一个显式的、基于语义理解的评估阶段。在这个新范式中,BM25 和稠密向量搜索继续负责广撒网式的候选召回,LLM 依然负责最终的答案撰写,而 Jev 则充当了“守门人”的角色,在候选内容进入昂贵的 LLM 上下文窗口之前,对其进行精准的语义评分和过滤。
以下是这一流程的详细拆解,展示了 Jev 如何重塑 RAG 应用的可靠性与效率。
第一阶段:广泛检索,确保召回上限
一切始于对候选集的广泛捕捉。系统首先并行执行稠密搜索(Dense Search)和关键词搜索(Keyword Search),并通过倒数排名融合(Reciprocal Rank Fusion, RRF)算法合并两者的排序结果。假设针对某个复杂查询,系统初步筛选出了前 20 个最相关的段落。
在这一阶段,核心目标是最大化召回率(Recall)。我们宁愿候选集中混入一些松散相关的噪音,也绝不能遗漏那些真正包含关键证据的段落。必须明确的是,检索环节设定了整个系统的性能上限。如果支撑答案的关键段落根本没有被检索出来,那么后续无论 Jev 多么强大,都无法无中生有地恢复这些信息。因此,这一步追求的是“宁错杀一千,不可放过一个”的包容性。
第二阶段:批量语义评分,打破效率瓶颈
传统做法中,若要验证每个段落的相关性,可能需要为每一个“查询-段落”对单独调用一次 LLM。如果有 20 个候选项,就意味着 20 次独立的 API 调用,这不仅延迟极高,成本也难以承受。
Jev 的创新之处在于其打包请求(Packed Request)能力。我们将用户查询作为全局状态传递给 Jev,并为每个检索到的段落定义一个类型化的二元判断任务,例如:“C7 是否有助于回答此查询?”
Jev 能够在一个单独的请求中并行评估所有候选项,并返回结构化的概率输出。例如:
- C1: 0.93(高度相关,证据充分)
- C2: 0.18(无关或误导)
- C3: 0.76(部分相关,有一定价值)
- C4: 0.09(完全无关)
这种机制将原本线性的、高昂的验证过程转化为并行的、低成本的操作。应用程序可以直接消费这些类型化的概率值,无需额外的解析开销。
第三阶段:策略与判断分离,实现可控优化
Jev 的核心哲学是“Jev 处理不确定性的判断,代码应用确定的策略”。Jev 输出的是概率估计,而如何处理这些概率,完全由应用程序的代码逻辑决定。
例如,团队可以设定相关性阈值为 0.70。在此规则下,C1 和 C3 被允许进入后续的生成阶段,而 C2 和 C4 则被直接丢弃,永远没有机会污染 LLM 的上下文窗口。
这种架构分离带来了巨大的工程优势:
策略透明化:过滤逻辑清晰地写在代码中,而非隐藏在复杂的提示词工程里。
灵活调优:团队可以在不重新训练模型或重写判断逻辑的前提下,通过调整阈值来平衡准确率与召回率。
可审计性:开发人员可以在评估集上监控假阳性(误留噪音)和假阴性(误删证据),根据产品需求找到最佳平衡点。
第四阶段:全局闸门控制,拒绝无效生成
仅仅过滤单个段落是不够的。有时,即使保留了几个看似相关的段落,它们组合起来仍可能缺乏回答复杂查询所需的完整证据链。
为此,Jev 支持在同一请求中加入第二个高层级判断:“基于当前保留的段落集合,能否回答该查询?”
如果这个整体可信度概率低于预设阈值,应用程序将直接跳过昂贵的 LLM 生成步骤,转而返回一个受控的标准响应,如“文档中未找到相关信息”。这不仅节省了算力,更提升了用户体验的确定性。
此外,Jev 还可以用于检测潜在的安全风险,例如评分候选段落是否包含提示词注入(Prompt Injection)的迹象。虽然这不能替代严格的安全隔离措施,但它可以作为一道额外的过滤防线,帮助识别恶意输入。
总结:清晰的责任边界
引入 Jev 后的 RAG 管道拥有极其清晰的职责分工:
- 检索层:负责广度,确保不错漏任何潜在证据。
- Jev 层:负责深度,精准评分证据的有效性及整体可答性。
- 应用层:负责决策,根据业务阈值决定下一步动作。
- 生成层:负责表达,仅基于经过严格筛选的高质量证据撰写答案。
Jev 的最大价值在于它将“相关性”从一个模糊的、隐含在排名分数中的概念,转变为一个类型化的、可量化、可日志记录、可测试且可审计的概率指标。这使得 RAG 系统从黑盒走向白盒,为构建企业级、高可靠性的 AI 应用奠定了坚实基础。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线科技企业深耕十二载,见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事,早已在效率与薪资上形成代际优势,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包:
- ✅ 从零到一的 AI 学习路径图
- ✅ 大模型调优实战手册(附医疗/金融等大厂真实案例)
- ✅ 百度/阿里专家闭门录播课
- ✅ 大模型当下最新行业报告
- ✅ 真实大厂面试真题
- ✅ 2026 最新岗位需求图谱
所有资料 ⚡️ ,朋友们如果有需要《AI大模型入门+进阶学习资源包》,下方扫码获取~
① 全套AI大模型应用开发视频教程
(包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点)
② 大模型系统化学习路线
作为学习AI大模型技术的新手,方向至关重要。 正确的学习路线可以为你节省时间,少走弯路;方向不对,努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划,带你从零基础入门到精通!
③ 大模型学习书籍&文档
学习AI大模型离不开书籍文档,我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。
④ AI大模型最新行业报告
2025最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。
⑤ 大模型项目实战&配套源码
学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。
⑥ 大模型大厂面试真题
面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。
以上资料如何领取?
为什么大家都在学大模型?
最近科技巨头英特尔宣布裁员2万人,传统岗位不断缩减,但AI相关技术岗疯狂扩招,有3-5年经验,大厂薪资就能给到50K*20薪!
不出1年,“有AI项目经验”将成为投递简历的门槛。
风口之下,与其像“温水煮青蛙”一样坐等被行业淘汰,不如先人一步,掌握AI大模型原理+应用技术+项目实操经验,“顺风”翻盘!
这些资料真的有用吗?
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。