如何把 LM Studio 接入自托管 sim 作为本地模型端点【免费下载链接】simSim is the collaborative workspace to build, deploy, and monitor AI agents and workflows. Used by 100,000 builders.项目地址: https://gitcode.com/GitHub_Trending/sim16/sim自托管的 sim 用 Docker Compose 部署后默认需要模型厂商的 API key 才能驱动 Agent 块。如果你想让 Agent 块走本机的 LM Studio而不是外部 API可以把 LM Studio 作为 OpenAI 兼容端点接进来在 LM Studio 中启动本地服务器并加载模型在 sim 的.env中设置VLLM_BASE_URL和VLLM_API_KEY重建simstudio服务后LM Studio 的模型会以vllm/前缀出现在模型选择器中。本文适用于已有 Docker Compose 安装docker-compose.prod.yml、docker-compose.local.yml或docker-compose.ollama.yml的 sim 实例Kubernetes 部署不在这条路径的范围内因为文档只描述了通过 Compose 的.env配置这些变量。前提LM Studio 侧与 sim 侧的准备LM Studio 端要做三件事来自 Docker 部署文档的 LM Studio 小节启动本地服务器local server加载你要使用的模型启用Serve on Local Network否则 Docker 容器无法从网络层访问它。之后按文档建议启用 LM Studio 的 API 认证API authentication并记下 token。认证一旦开启sim 的发现请求就必须携带 bearer token否则会失败如果不开启认证VLLM_API_KEY可省略——环境变量文档将它标注为 vLLM/LM Studio 端点的可选 bearer token。sim 端只需要确认两件事知道当初是哪一个 Compose 文件启动了你的安装docker-compose.prod.yml、docker-compose.local.yml或docker-compose.ollama.yml后文的重建命令要用到它确认.env文件在 Compose 文件旁边。所有随仓库发布的 Compose 文件中simstudio都声明了env_file: .env变量就是从这里进入容器的。在.env中设置端点地址与 token编辑.env文件追加两行。地址写法取决于 sim 所在主机的操作系统因为容器内的localhost指向容器自身永远到不了宿主机上的 LM Studio# macOS/Windows VLLM_BASE_URLhttp://host.docker.internal:1234 # Linux - use your host IP instead # VLLM_BASE_URLhttp://192.168.1.100:1234 VLLM_API_KEYyour_lm_studio_api_token1234是 LM Studio 本地服务器的默认端口your_lm_studio_api_token替换为你在 LM Studio 中启用的 API 认证 token端点地址既可以用服务器根地址也可以用以/v1结尾的 URL两种写法都被接受见 environment-variables.mdx 中VLLM_BASE_URL的说明。Linux 宿主机上不能用host.docker.internal要填写宿主机的实际 IP文档示例为http://192.168.1.100:1234替换为你自己的地址。应用配置并验证变量进入容器修改.env不会自动生效需要重建读取它的simstudio服务。使用启动你安装时的那个 Compose 文件# Pick the file that started your install. COMPOSE_FILEdocker-compose.prod.yml # COMPOSE_FILEdocker-compose.local.yml # COMPOSE_FILEdocker-compose.ollama.yml docker compose -f $COMPOSE_FILE up -d --force-recreate simstudio重建完成后进入容器确认变量确实落地docker compose -f $COMPOSE_FILE exec simstudio printenv VLLM_BASE_URL故障排查文档对这条检查有明确判断标准结果为空意味着变量从未进入容器模型发现discovery根本不会运行。此时应回到.env检查是否写在了正确位置、是否拼写正确然后重建服务重试。确认模型出现在模型选择器中变量生效后刷新reload工作区页面在模型选择器中查看。成功的判定条件是文档给出的明确现象LM Studio 中已加载的模型以vllm/前缀出现例如选择项形如vllm/model-idmodel-id是 LM Studio 中的模型标识选中后sim 会在把模型标识发送给 LM Studio 之前去掉这个vllm/前缀所以你在 LM Studio 侧看到的请求模型名会是原始 ID。模型列表中出现这个带前缀的选项就表示接入完成Agent 块可以选它来跑本地推理。模型不出现或被拦截时检查什么如果刷新后选择器里看不到vllm/开头的选项或请求失败按 troubleshooting.mdx 中 “LM Studio requests route to Ollama” 一节逐项核对认证与端点配套LM Studio 里Serve on Local Network和 API 认证都要开。如果开了认证而VLLM_API_KEY没设发现请求会缺少 bearer token 而失败。注意没有任何 Compose 文件替你设置这两个变量docker-compose.ollama.yml只设置了OLLAMA_URL必须手工写进.env。地址写对平台macOS/Windows 用http://host.docker.internal:1234Linux 用宿主机 IP。egress 拦截sim 默认阻止发往私有、保留和回环地址的出站请求。如果请求失败报错信息会点名拦截者它解析到的私有/回环地址、被阻止的端口并指向 allowlist 变量。此时在.env中把宿主机别名加入允许列表再重建服务EGRESS_ALLOWED_HOSTShost.docker.internalSecurity 文档中 “The SSRF boundary” 一节明确给出了这条用于“触达 Docker 宿主上的服务”的示例配置。不要手填裸模型 ID如果端点不可用、你只好手动输入 LM Studio 的原始模型标识sim 会把未知标识当作 Ollama 模型处理请求就路由错了。正确做法是先修好端点等模型被动态发现再选vllm/model-id。边界LM Studio 不承担知识库嵌入接入 LM Studio 只覆盖模型选择器中的对话/Agent 模型。环境变量文档明确知识库knowledge base的嵌入模型由KB_EMBEDDING_MODEL单独选择本地嵌入只能通过你自己的 Ollama 提供写成ollama/model并设置OLLAMA_URL嵌入永远不走配置的聊天模型vLLM 和 LM Studio 不能顶替这一职责。如果你的场景需要本地嵌入需要另配 Ollama而不是指望本次 LM Studio 接入顺带解决。相关文档Docker 部署含 LM Studio 小节自托管故障排查LM Studio 路由到 Ollama自托管环境变量VLLM_BASE_URL/VLLM_API_KEYSecuritySSRF 边界与出站允许列表自托管总览外部依赖规划【免费下载链接】simSim is the collaborative workspace to build, deploy, and monitor AI agents and workflows. Used by 100,000 builders.项目地址: https://gitcode.com/GitHub_Trending/sim16/sim创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何把 LM Studio 接入自托管 sim 作为本地模型端点
如何把 LM Studio 接入自托管 sim 作为本地模型端点【免费下载链接】simSim is the collaborative workspace to build, deploy, and monitor AI agents and workflows. Used by 100,000 builders.项目地址: https://gitcode.com/GitHub_Trending/sim16/sim自托管的 sim 用 Docker Compose 部署后默认需要模型厂商的 API key 才能驱动 Agent 块。如果你想让 Agent 块走本机的 LM Studio而不是外部 API可以把 LM Studio 作为 OpenAI 兼容端点接进来在 LM Studio 中启动本地服务器并加载模型在 sim 的.env中设置VLLM_BASE_URL和VLLM_API_KEY重建simstudio服务后LM Studio 的模型会以vllm/前缀出现在模型选择器中。本文适用于已有 Docker Compose 安装docker-compose.prod.yml、docker-compose.local.yml或docker-compose.ollama.yml的 sim 实例Kubernetes 部署不在这条路径的范围内因为文档只描述了通过 Compose 的.env配置这些变量。前提LM Studio 侧与 sim 侧的准备LM Studio 端要做三件事来自 Docker 部署文档的 LM Studio 小节启动本地服务器local server加载你要使用的模型启用Serve on Local Network否则 Docker 容器无法从网络层访问它。之后按文档建议启用 LM Studio 的 API 认证API authentication并记下 token。认证一旦开启sim 的发现请求就必须携带 bearer token否则会失败如果不开启认证VLLM_API_KEY可省略——环境变量文档将它标注为 vLLM/LM Studio 端点的可选 bearer token。sim 端只需要确认两件事知道当初是哪一个 Compose 文件启动了你的安装docker-compose.prod.yml、docker-compose.local.yml或docker-compose.ollama.yml后文的重建命令要用到它确认.env文件在 Compose 文件旁边。所有随仓库发布的 Compose 文件中simstudio都声明了env_file: .env变量就是从这里进入容器的。在.env中设置端点地址与 token编辑.env文件追加两行。地址写法取决于 sim 所在主机的操作系统因为容器内的localhost指向容器自身永远到不了宿主机上的 LM Studio# macOS/Windows VLLM_BASE_URLhttp://host.docker.internal:1234 # Linux - use your host IP instead # VLLM_BASE_URLhttp://192.168.1.100:1234 VLLM_API_KEYyour_lm_studio_api_token1234是 LM Studio 本地服务器的默认端口your_lm_studio_api_token替换为你在 LM Studio 中启用的 API 认证 token端点地址既可以用服务器根地址也可以用以/v1结尾的 URL两种写法都被接受见 environment-variables.mdx 中VLLM_BASE_URL的说明。Linux 宿主机上不能用host.docker.internal要填写宿主机的实际 IP文档示例为http://192.168.1.100:1234替换为你自己的地址。应用配置并验证变量进入容器修改.env不会自动生效需要重建读取它的simstudio服务。使用启动你安装时的那个 Compose 文件# Pick the file that started your install. COMPOSE_FILEdocker-compose.prod.yml # COMPOSE_FILEdocker-compose.local.yml # COMPOSE_FILEdocker-compose.ollama.yml docker compose -f $COMPOSE_FILE up -d --force-recreate simstudio重建完成后进入容器确认变量确实落地docker compose -f $COMPOSE_FILE exec simstudio printenv VLLM_BASE_URL故障排查文档对这条检查有明确判断标准结果为空意味着变量从未进入容器模型发现discovery根本不会运行。此时应回到.env检查是否写在了正确位置、是否拼写正确然后重建服务重试。确认模型出现在模型选择器中变量生效后刷新reload工作区页面在模型选择器中查看。成功的判定条件是文档给出的明确现象LM Studio 中已加载的模型以vllm/前缀出现例如选择项形如vllm/model-idmodel-id是 LM Studio 中的模型标识选中后sim 会在把模型标识发送给 LM Studio 之前去掉这个vllm/前缀所以你在 LM Studio 侧看到的请求模型名会是原始 ID。模型列表中出现这个带前缀的选项就表示接入完成Agent 块可以选它来跑本地推理。模型不出现或被拦截时检查什么如果刷新后选择器里看不到vllm/开头的选项或请求失败按 troubleshooting.mdx 中 “LM Studio requests route to Ollama” 一节逐项核对认证与端点配套LM Studio 里Serve on Local Network和 API 认证都要开。如果开了认证而VLLM_API_KEY没设发现请求会缺少 bearer token 而失败。注意没有任何 Compose 文件替你设置这两个变量docker-compose.ollama.yml只设置了OLLAMA_URL必须手工写进.env。地址写对平台macOS/Windows 用http://host.docker.internal:1234Linux 用宿主机 IP。egress 拦截sim 默认阻止发往私有、保留和回环地址的出站请求。如果请求失败报错信息会点名拦截者它解析到的私有/回环地址、被阻止的端口并指向 allowlist 变量。此时在.env中把宿主机别名加入允许列表再重建服务EGRESS_ALLOWED_HOSTShost.docker.internalSecurity 文档中 “The SSRF boundary” 一节明确给出了这条用于“触达 Docker 宿主上的服务”的示例配置。不要手填裸模型 ID如果端点不可用、你只好手动输入 LM Studio 的原始模型标识sim 会把未知标识当作 Ollama 模型处理请求就路由错了。正确做法是先修好端点等模型被动态发现再选vllm/model-id。边界LM Studio 不承担知识库嵌入接入 LM Studio 只覆盖模型选择器中的对话/Agent 模型。环境变量文档明确知识库knowledge base的嵌入模型由KB_EMBEDDING_MODEL单独选择本地嵌入只能通过你自己的 Ollama 提供写成ollama/model并设置OLLAMA_URL嵌入永远不走配置的聊天模型vLLM 和 LM Studio 不能顶替这一职责。如果你的场景需要本地嵌入需要另配 Ollama而不是指望本次 LM Studio 接入顺带解决。相关文档Docker 部署含 LM Studio 小节自托管故障排查LM Studio 路由到 Ollama自托管环境变量VLLM_BASE_URL/VLLM_API_KEYSecuritySSRF 边界与出站允许列表自托管总览外部依赖规划【免费下载链接】simSim is the collaborative workspace to build, deploy, and monitor AI agents and workflows. Used by 100,000 builders.项目地址: https://gitcode.com/GitHub_Trending/sim16/sim创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考