资讯详情

目录

• 2️⃣ Ray 的作用

2️⃣ Ray 的作用

Ray / 分布式调度主要用于：

1. 多节点 / 多模型请求调度

   • 自动把请求分配到最空闲的 worker
   • 处理大规模并发请求（千 QPS 级别）

2. 多模型/异构 GPU 调度

   • 同时部署小模型 + 大模型，或者不同上下文规格模型
   • 自动路由请求到合适 GPU

3. 弹性伸缩

   • 动态增加/减少 worker 节点
   • 适合云端大规模部署