GPUStack v2.3.0 开源版正式发布！

自动 PD 分离编排、共享 KV Cache 池、vGPU 切分、智能压测与定时伸缩，让模型服务有了更灵活的资源配置方式，也让团队能够在同一套流程中完成部署、性能验证与持续优化。

这些能力回应的是模型走向生产时的实际挑战：Prefill 和 Decode 拆开之后，如何组织实例协作？服务扩容之后，如何复用已有缓存？面对业务高峰，又该准备多少资源？

GPUStack v2.3 将资源、实例、缓存与流量的管理连接起来，让团队把更多精力投入模型和业务优化，减少多节点部署与日常维护中的重复工作。

推理引擎之上，还有一层系统工程

vLLM、SGLang 等推理引擎持续提升模型执行效率，也在发展分布式推理、PD 分离和路由等能力。这些进展，是 GPUStack 提供模型服务的重要基础。

企业在使用这些能力时，往往同时面对多个模型、不同的推理后端和异构 GPU。单项优化之外，还需要让资源分配、实例部署、请求路由和配置变更协同运行。

例如，采用 PD 分离，需要组织 Prefill / Decode 实例及其配比，让请求经过对应的处理流程，并在副本变化后维持组件之间的协作。每一项都关系到服务能否持续运行。

GPUStack 把这些工程工作纳入模型服务的管理流程：用户配置一项服务，平台组织背后的多个运行组件。v2.3 进一步打通部署、压测与运行管理，让先进推理方案更容易落地，也更便于持续调整。

自动 PD 分离编排：让两个推理阶段分别配置资源

大模型处理一次请求，主要包含两个阶段：Prefill处理输入上下文，Decode逐步生成输出 Token。

两者的工作特点不同，资源需求也会随输入长度、输出长度和请求数量变化。将两个阶段分开部署，可以分别调整资源与副本配比，适配不同的业务负载。

v2.3 新增自动 PD 分离编排部署，支持 Prefill / Decode 独立部署、调度和扩缩容。用户配置两类角色的资源与副本，GPUStack 负责组织实例部署、请求路由及副本变化后的协作。

这让团队能够分别优化输入处理与输出生成，减少手工维护多实例配置的工作。部署后，还可以结合实际硬件和请求特征，通过压测验证并调整 P / D 配比。

Prefill 与 Decode 分别配置资源和副本，由平台组织为一项模型服务。

共享 KV Cache：减少重复上下文的计算

系统提示词、知识库材料和多轮对话历史，常常反复出现在不同请求中。如果每个实例都重新处理相同内容，就会产生重复计算。

v2.3 引入共享 KV Cache 池，支持在兼容的模型与配置下，跨副本、跨节点复用缓存，让多个实例利用已经计算过的上下文，减少重复的 Prefill 工作。

GPUStack 将 LMCache、Mooncake、XSKY MeshFusion 等共享缓存方案纳入模型服务管理。团队可以围绕同一项服务配置缓存，并结合缓存命中情况和首 Token 延迟评估效果。

缓存复用还需要与请求分配、实例负载一起考虑。当服务从单实例扩展到多实例时，已有上下文的计算结果也能成为可复用的资源。团队可以在扩容和路由调整时，一并评估缓存带来的价值。

围绕模型服务配置共享缓存，让重复上下文具备跨实例复用的条件。

vGPU 切分：按工作负载分配资源

小模型、开发环境和验证任务，未必都需要独占一张完整的物理卡。资源分配得过粗，容易让部分算力长期闲置。

v2.3 新增vGPU 切分，支持通过软切分和硬切分资源部署模型及 GPU 实例，让不同任务按需使用资源。具体切分方式和隔离能力取决于硬件及相应方案。

九种异构 GPU 的切分支持

在 Kubernetes 环境中，K8s 的工作负载资源也可以直接声明使用 GPUStack Operator KDP 提供的整卡、共享及切分 GPU 资源。

这延续了 v2.2 的资源服务方向：同一套算力管理体系，既服务模型推理，也服务开发与实验。从整卡到切分资源，团队可以按任务需要分配算力，让小规模工作负载也有合适的资源规格。实例监控则帮助团队观察实际使用情况，继续调整配置。

模型部署与 GPU 实例均可使用切分资源，按工作负载选择合适的分配方式。

智能压测与调度：让服务容量匹配业务负载

模型运行起来之后，团队还需要知道：当前配置能够承接多少请求，又能提供怎样的响应体验？

单个吞吐数字很难回答这个问题。随着并发增加，吞吐和延迟都会变化；输入输出长度不同，原先的测试结论也可能不再适用。

v2.3 新增智能性能压测。一次测试覆盖多个并发负载点，提供负载曲线和推荐运行点，帮助团队探索模型性能边界，再根据业务可接受的延迟判断服务容量。

结合多个负载点的吞吐与延迟，选择满足业务响应要求的运行点。

有了容量依据，接下来就可以安排流量分配与资源准备。

v2.3 增强网关路由，提供会话粘连、最小请求数等负载均衡策略，并支持通过决策服务选模。前者管理请求在实例之间的分配，后者帮助请求选择合适的模型，让团队能够按服务特点配置流量策略。

面对可预期的波峰波谷，平台还提供潮汐调度定时伸缩，按配置的时间窗口调整模型副本数量，在固定高峰到来前增加实例，在低峰时段减少资源占用。

按时间窗口调整副本数量，为可预期的业务高峰提前准备资源。

例如，一项长上下文知识库服务，可以通过共享缓存复用重复材料，通过压测找到满足响应要求的运行点，再配置路由和高峰前的扩容计划。每一步都围绕同一项服务展开，前一步的配置与观测结果，也成为下一步调整的依据。

从“能够承接多少请求”，到“如何分配请求、何时准备资源”，性能数据开始成为日常调度的依据。

OTA 与部署管理：跟上技术更新，保留变更恢复路径

模型和推理后端更新得很快，生产服务需要有节奏地吸收这些变化。

v2.3 新增模型库 / 推理后端 OTA 更新。无需升级或重启 GPUStack，即可在线更新模型库、可选推理后端版本和社区后端市场，让团队及时获得新的部署选项。

对于具体服务，团队可以通过YAML 导入导出保存和复用部署配置，将验证过的配置用于后续部署与环境迁移；通过部署版本历史与回滚保留配置变更记录，在需要恢复时选择此前的配置版本。

通过 YAML 复用配置，通过版本历史追溯变更，并在需要时恢复到指定配置版本。

OTA 让新能力及时进入平台，配置复用和版本管理则让团队能够按自己的节奏验证与采用。从引入新的部署选项，到复用已验证的配置、恢复历史版本，服务更新有了更清晰的操作路径。

让先进推理能力成为可持续运营的模型服务

一项推理优化的价值，最终要体现在实际服务中：资源分配是否合适，部署架构能否维护，容量是否经过验证，业务请求能否按预期处理。

GPUStack v2.3 将 PD 分离、共享缓存、资源切分和弹性调度连接到同一套服务管理流程。团队可以根据业务选择推理方案，验证实际承载能力，再持续调整资源与流量配置。

这就是 GPUStack 所关注的系统化推理工程：让先进推理能力成为可以规模化交付、持续运营的模型服务。

欢迎体验 GPUStack v2.3，从一项真实业务出发，探索更适合自己的部署与运营方式，也欢迎向社区分享实践经验。

开源项目：https://github.com/gpustack/gpustack

产品文档：https://docs.gpustack.ai

镜像下载：https://docs.gpustack.ai/latest/zh/image-selector/

完整更新：https://github.com/gpustack/gpustack/releases/tag/v2.3.0

加入 GPUStack 社区

GPUStack 社区聚焦AI 基础设施与大模型实践。

社区中持续分享真实环境下的部署经验、问题排查案例，以及推理引擎、算力管理和系统架构相关讨论。

欢迎扫码加入 GPUStack 社区，与更多关注 AI Infra 与大模型推理实践的伙伴一起交流、学习与分享。

若群聊已满或二维码失效，请访问最新群二维码。

About GPUStack

GPUStack 是由 GPUStack.ai 所推出的开源项目。GPUStack.ai 成立于2022年，是 AI Infra 解决方案提供商，目前已完成两轮融资，累计融资 1.03 亿元。创始团队成员均来自业界应用广泛的 Kubernetes 管理平台 Rancher 的核心团队。其中，联合创始人及 CTO 梁胜博士是前 SUSE 全球工程及创新总裁，加入 SUSE 之前，梁胜博士于2014年9月创立全球著名的容器管理平台公司 Rancher Labs 并担任 CEO。

我们的愿景是赋能企业可以在任意环境使用人工智能以实现业务的卓越运营。GPUStack 是实现这一目标的重要一步。

使用 GPUStack 迅速搭建你的专属 MaaS 平台！开始在本地快速构建 GPU 集群，运行和使用各种 AI 模型，赋能您的 AI 应用。

【开源地址】：github.com/gpustack/gpustack