Step-5-Preview 完全指南:如何10分钟看懂阶跃星辰600B参数的旗舰Agent模型
Step-5-Preview 是阶跃星辰(StepFun)开源的旗舰 Agent 模型,600B 总参数、27B 激活参数、支持 1M token 超长上下文,在软件工程、长时程任务、专业知识工作与金融四大场景具备前沿级能力。本指南带你 10 分钟看懂这款 600B 参数 Agent 模型的参数体系、架构亮点与部署方法。
什么是 Step-5-Preview:阶跃星辰的旗舰 Agent 模型
Step 5 Preview 定位是agentic work(智能体工作)——不只是问答,而是能持续执行"反复调用工具 → 执行 → 验证 → 修正"的长流程复杂任务:
- 🧑💻仓库级软件工程:导航大型代码库、跨文件协同修改、运行并验证代码
- ⏳长时程 Agent 执行:多步骤工作流中利用 1M 上下文贯穿始终
- 📊专业知识工作:分析长文档、图表、截图与视频,产出结构化报告
- 💰金融特化:在"量化推理 + 财务数据分析"类任务上尤为突出
模型接受文本与图片输入、输出文本,最大输出长度同样可达 1M token。当前仓库(Step-5-Preview-BF16)提供BF16 精度权重,另有 FP8 版本发布以降低显存门槛。
核心参数一览表:600B 总参数,27B 激活
| 项目 | 数值 |
|---|---|
| 架构 | 稀疏 MoE(Mixture of Experts) |
| 总参数 | 600B |
| 激活参数 | 27B |
| 上下文窗口 | 最高 1M tokens(输入+输出合计) |
| 最大输出 | 最高 1M tokens |
| 输入 / 输出 | 文本、图片 / 文本 |
| 路由专家 | 352 个,每个 token 激活 8 个 |
| 解码层数 | 92 层 |
想验证以上细节,直接查看 config.json:moe_num_experts: 352、moe_top_k: 8、sliding_window: 512、num_nextn_predict_layers: 3,这些字段就是理解该模型架构的"第一手资料"。
为什么 600B 参数还能跑得快?三大架构亮点
- MoE 稀疏激活:每个 token 只路由 352 个专家中的 8 个,推理计算成本接近 27B 稠密模型,做到"容量大、开销低"的平衡。
- 滑动窗口 + 全局注意力混合:多数层使用 512 token 滑动窗口(sliding attention)压低长上下文开销,部分层做全局注意力保证长程召回——这是支撑 1M 上下文的关键。
- MTP 多 token 预测(投机解码):内置 3 层预测层,可并行猜测后续 token 加速生成,部署命令中带
--spec-method mtp --spec-tokens 3即可启用。
读懂仓库结构:权重分片与推理代码
仓库分为模型权重与推理代码两部分,结构一目了然:
| 文件 / 目录 | 说明 |
|---|---|
| model-00001.safetensors ~ model-00024.safetensors | 主模型(BF16)权重,共 24 个分片 |
| model-vit-00001.safetensors | 视觉编码器(Vision Encoder)权重 |
| model-mtp3-full-00001.safetensors | MTP 多 token 预测层权重(用于投机解码) |
| config.json | 模型结构配置(专家数、注意力、MTP 等) |
| tokenizer.json、chat_template.jinja | 分词器与对话模板 |
| model.safetensors.index.json | 权重分片索引映射 |
| inference/ | 官方独立推理代码(无需 vLLM/SGLang) |
inference/ 目录是官方最小化推理实现:inference/convert.py 把权重按 GPU 数量切分为多卡部署用的分片,inference/generate.py 执行离线生成;稀疏注意力、FP8 专家矩阵乘等核心算子由 inference/kernel.py 用 Triton/CUDA 实现,inference/model.py 与 inference/vision_encoder.py 分别负责模型主体和视觉编码。各文件的中文说明、依赖版本与硬件要求见 inference/README.zh.md。
最快部署方式:vLLM、SGLang、Transformers 三条路径
官方 README.md 给出三种主流部署路径,前两者对外暴露OpenAI 兼容 API:
| 框架 | 权重精度 | 最低硬件配置 | 并行策略 |
|---|---|---|---|
| vLLM | FP8 | 单节点 4 × B300 | TP4 / TEP4 / DEP4 |
| vLLM | BF16 | 双节点 16 × H200 | TP16 / TEP16 / DEP16 |
| SGLang | FP8 | 单节点 8 × H200 | TP8 / EP8 |
| Transformers | BF16 | 双节点 16 × H200 | TP16 / EP16(离线生成) |
以 vLLM 部署为例,最简路径是拉取官方 Docker 镜像 → 启动带 GPU 的容器 → 执行vllm serve命令(记得保留--reasoning-parser step5与--tool-call-parser step5以启用推理与工具调用解析),完整命令见 README.md 的 Deployment 章节。服务启动后,用标准请求即可验证:
curl http://127.0.0.1:18000/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"model": "step5", "messages": [{"role": "user", "content": "Hello!"}]}'推理参数建议与使用注意
- 推荐采样参数:
temperature=1.0、top_p=0.95、top_k=0(官方基准成绩采用 High 推理档位) - 1M 上下文覆盖输入+输出总量;显存不足时下调
--max-model-len或并发数 - BF16 完整模型在 16 × H200(TP=EP=16)上验证通过,FP8 在单节点 8 × H200 上验证通过,选型时对照 inference/README.zh.md 的显存测算
许可协议:StepFun Model License 1.0
模型及其权重、配置、分词器、专属代码和文档均在StepFun Model License 1.0(LICENSE.txt)下发布。这是 Apache-2.0 风格的开源许可,另附模型使用、修改与分发相关的署名和商用条款,商用前建议通读原文。
10分钟总结:一张表带走 Step-5-Preview
| 问题 | 答案 |
|---|---|
| 它是什么? | 阶跃星辰 600B 参数旗舰 Agent 模型(BF16 开源版) |
| 核心卖点 | MoE 稀疏激活(27B 激活)、1M 上下文、强工具调用、金融特化 |
| 怎么部署? | vLLM / SGLang / Transformers,FP8 单节点 8 卡即可 |
| 最快上手 | FP8 权重 + vLLM 8 × H200,或直接接入官方 API 平台 |
Step-5-Preview 目前是最具代表性的"开源 Agent 旗舰模型"之一——27B 激活参数 + 1M 上下文 + MoE 架构的组合,让它成为企业级智能体应用值得重点评估的底座模型。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考