ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

Magnitude如何节省40%的Token成本:深度解析记忆管理与Prompt缓存机制

Magnitude如何节省40%的Token成本:深度解析记忆管理与Prompt缓存机制 Magnitude如何节省40%的Token成本深度解析记忆管理与Prompt缓存机制【免费下载链接】browser-agentOpen-source, vision-first browser agent项目地址: https://gitcode.com/GitHub_Trending/magnit/browser-agentMagnitude是一个开源的「视觉优先」浏览器 Agentbrowser agent框架它用视觉 AI 理解网页、用自然语言驱动鼠标键盘帮你完成网页自动化、数据提取与测试。但浏览器 Agent 每一步都要看截图、记操作Token 消耗天然高昂——Magnitude 通过一套滑动窗口记忆管理 Prompt 缓存prompt caching机制在默认开启缓存的情况下通常可节省约 40% 的 Token 成本且任务越长、省得越多。本文将带你从零看懂它的省钱原理。为什么浏览器 Agent 特别烧 Token一个普通的聊天请求只消耗几千 Token而浏览器 Agent 是长对话消耗来源说明️ 截图每一步操作都要给模型看一张页面截图单张图就可能上千 Token 思考与动作记录模型的每一步思考thought和动作历史都会累积在上下文里 重复上下文系统提示词、工具定义每一轮都要重新发送一遍任务越长上下文越长费用呈线性上涨——这正是多数computer use类 Agent 成本失控的根源。Prompt 缓存40% 成本削减从何而来Anthropic 提供了 **Prompt 缓存prompt caching**能力把前缀相同的提示词缓存下来后续请求命中缓存时按更低的折扣计费。Magnitude 的使用策略是系统提示词永远缓存——占用 1 个 cache control 位置整个任务期间不再重新计费剩余 3 个 cache control 位置循环轮换——通过缓存写入 读取滚动前进让不断增长的上下文大部分时间都落在缓存内。这个机制写在核心记忆类中可以看到缓存位置上限被固定为 3加上系统提示词共 4 个缓存轮换核心逻辑packages/magnitude-core/src/memory/agentMemory.ts对新手来说只需知道两点✅默认自动开启只要使用anthropic或claude-code提供方无需任何配置启动 Agent 时会自动打开 Prompt 缓存见 packages/magnitude-core/src/agent/index.ts⚠️Bedrock 通道不支持缓存功能在 Bedrock 上不可用想省钱请走 Anthropic 直连。官方文档对这一收益的原话是使用 prompt caching 后Magnitude 通常比不缓存少消耗约 40% 的 Token且任务越长收益越明显——完整说明见 docs/advanced/memory.mdx。滑动窗口记忆截图只留最新的一小撮Prompt 缓存解决重复计费而记忆管理解决上下文无限膨胀。Magnitude 把每次感知都抽象成一条Observation观测并为每条观测配置保留策略type / limit / dedupe截图去重 限量相邻的相同截图会被自动去重dedupe同时只保留最近一小撮minScreenshots选项默认值见 packages/magnitude-core/src/connectors/browserConnector.ts思考仅保留最近 20 条thoughtLimit默认 20更早的思考会从上下文中淡出冻结掩码freezeMask与缓存联动已经被缓存写过的观测保持可见状态冻结保证缓存前缀稳定不被破坏——这套掩码去重逻辑实现于 packages/magnitude-core/src/memory/masking.ts。效果是上下文长度大致随任务复杂度线性增长而非随历史步数堆积。如果任务交互复杂、需要模型回忆更早的画面可以调大minScreenshots比如设为 3来保留更多工作记忆文档中有对应示例docs/advanced/memory.mdx。三大省钱机制速览机制作用一句话原理 Prompt 缓存省 ~40% 计费 Token前缀命中缓存按折扣价计费4 个 cache 位滚动轮换 滑动窗口记忆控制上下文增速截图去重限量 仅保留最近 20 条思考 冻结掩码防止缓存失效已缓存内容保持原样避免前缀变化导致整段重新计费想临时关闭缓存做对照实验只需在 LLM 选项中传入promptCaching: false示例见官方文档 docs/advanced/memory.mdx。写在最后对新手而言Magnitude 最值得借鉴的不是某段代码而是一种成本控制思路能缓存的前缀系统提示词、工具定义永远放前面、永远稳定会增长的内容截图、思考用去重 限量的保留策略不断淘汰两者联动冻结掩码让缓存命中率最大化。把这三招搬进你自己的 Agent 项目长任务的账单会好看得多。更多进阶细节如角色配置、数据提取可继续翻阅 docs/advanced/ 目录。【免费下载链接】browser-agentOpen-source, vision-first browser agent项目地址: https://gitcode.com/GitHub_Trending/magnit/browser-agent创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表