ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

Salesforce:让智能体遇到阻碍时懂得放弃

Salesforce:让智能体遇到阻碍时懂得放弃

📖标题:Agentic Self-Awareness: Aligning Knowing, Acting, and Holding
🌐来源:arXiv, 2610.19226v1

🛎️文章简介
🔸研究问题:当智能体遇到无法完成的任务(如缺少前提条件或需求冲突)时,如何确保它不仅能识别出困难,还能真正停止执行而不是硬着头皮瞎编,并且在被质疑时能坚持正确判断?
🔸主要贡献:论文提出了“自我意识”评估框架,构建了包含可行与不可行任务的配对基准测试,并通过优化智能体的控制流程(Harness)而非模型权重,显著提升了智能体在遇到阻碍时的正确放弃能力。

📝重点思路
🔸定义智能体自我意识:将其拆解为三个维度,“知”(Know,对任务可行性的判断质量)、“行”(Act,是否采取 warranted 的行为,即可行则做,不可行则停)、“持”(Hold,面对挑战时判断的稳定性)。
🔸构建双向基准测试:在Terminal-Bench和零售τ2-bench中,为每个可行任务构造对应的不可行变体(包括前提缺失、需求模糊、执行陷阱三类),形成配对测试集,既考察不该做时的放弃,也考察该做时的执行。
🔸设计M0-M3评分阶梯:通过四个里程碑严格评分,M0识别阻碍,M1不伪造结果,M2采取认证放弃动作,M3给出正确理由。特别引入“作者身份检查”,确保放弃动作是由智能体本身生成,而非外部框架强行写入,以排除作弊。
🔸Harness层级干预:保持大模型权重不变,利用HarnessX搜索算法优化智能体的控制流程(提示词、处理逻辑等)。对比两种目标:仅优化不可行任务的自我意识得分,以及联合优化不可行任务得分与可行任务的成功率。

🔎分析总结
🔸存在显著的知行差距:基线模型在Terminal-Bench中能识别84.4%的阻碍,但严格自我意识得分仅为40.6%,说明很多模型虽然知道不行,但还是会错误地继续执行或伪造结果。
🔸优化效果显著但局限明显:通过搜索优化控制流程,在参与搜索的任务上,严格自我意识得分从45.3%提升至93.8%。但若只优化放弃行为,会导致在可行任务上的成功率下降;联合优化能兼顾两者。
🔸泛化能力不足:在未见过的保留测试集上,性能提升有限,甚至在某些情况下可行任务的表现反而下降,表明当前的优化容易过拟合于特定任务模式。
🔸晚期阻碍最难处理:对于需要在执行过程中才能发现的“陷阱”类阻碍,智能体的表现远低于那些一开始就能判断不可行的任务,且信念探针(概率预测)与实际行为并不完全一致。

💡个人观点
论文通过精细的评估体系(特别是防止框架作弊的作者检查)和流程优化,强迫智能体在“做不到”的时候真正停下来。

返回列表