FreeToken多模态输入深度指南:为Qwen3-VL、Gemma-4、MiniMax-M3开启图像对话

【免费下载链接】FreeTokenFreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.项目地址: https://gitcode.com/GitHub_Trending/fr/FreeToken

FreeToken 是一个边端原生的 MoE 推理引擎，让消费级显卡也能高效运行 290B+ 前沿大模型。本指南带你为 Qwen3-VL、Gemma-4、MiniMax-M3 三大模型家族开启多模态图像输入，在本地实现"看图对话"，全程无需云端 API。

一、为什么本地模型也能"看图" 🖼️

FreeToken 把多模态做成了推理引擎的"一等公民"：

• 统一图像管线：三条协议（OpenAIimage_url、Anthropicimage块、Responsesinput_image）都接受 http(s) 链接或 base64 图片，单张上限 32MB，核心逻辑见 python/freetoken/mm/media.py
• 省显存设计：视觉编码器权重默认从主机内存按块流式传输到 GPU（--mm-encoder-weights host），而非整塔常驻显存，为 KV 缓存和专家缓存腾出空间
• 图像嵌入缓存：相同图片只编码一次，重复出现的图像直接命中缓存，加速长对话

二、三步开启图像对话

1. 安装 FreeToken

uv pip install "freetoken[accel]"

2. 启动视觉模型服务

ft serve --model Qwen/Qwen3-VL-8B-Instruct

多模态模型默认就接受图像输入，无需额外开启。日志出现API server is ready to serve on 127.0.0.1:1919即就绪。更多启动细节见 docs/quickstart.md。

3. 发送第一张图像请求

以 base64 图片为例，请求体与 OpenAI 完全兼容：

curl http://127.0.0.1:1919/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{ "model": "Qwen3-VL-8B-Instruct", "messages": [{"role": "user", "content": [ {"type": "text", "text": "这张图里有什么？"}, {"type": "image_url", "image_url": {"url": "data:image/png;base64,iVBORw0..."} } ]}], "max_tokens": 256 }'

不确定服务器是否支持图像？GET /v1/stats会返回model.input_modalities（["text"]或["text", "image"]），客户端可据此决定是否显示附件按钮。

三、三大模型家族:图像如何变成 Token

FreeToken 为每个家族注册了专属处理器（位于 python/freetoken/mm/processors/），将像素转成文本流：

💡 预算越大看得越细，但推理越慢、KV 占用越高。可用--image-max-tokens全局收紧，例如 MiniMax-M3 设--image-max-tokens 512即可在速度与细节间取得平衡。

四、关键参数速查表

完整说明见 docs/cli.md 的 Image input 章节与 docs/models.md 的图像输入对照表。

五、实用技巧与常见问题 🛠️

1. 编码智能体直接传图

ft launch claude

当/v1/stats报告图像能力后，ft launch写入的 Agent 配置会自动声明模型"支持图像"，Codex、OpenCode 等工具的图片工具即刻可用，截图直接喂给本地模型分析。

2. 老 FTW 检查点缺少视觉编码器？

在模型支持图像之前转换的 FTW 文件不含视觉塔，ft serve会拒绝加载。用ft checkpoint重新转换，或在原地补上编码器（见 docs/ftw-hotfix.md）。

3. 收到 "image input is disabled" 报错？

按提示排查：--text-model-only或--mm-disable vision会禁用图像；纯文本模型（如 Qwen3.6-35B-A3B）本身没有视觉能力，换用本指南中的视觉检查点即可。

至此，你已可以在消费级硬件上为 Qwen3-VL、Gemma-4、MiniMax-M3 开启多模态图像对话。想继续探索，可阅读 docs/ 下的全部官方文档，或在 python/freetoken/mm/ 中查看完整的图像预处理实现。

【免费下载链接】FreeTokenFreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.项目地址: https://gitcode.com/GitHub_Trending/fr/FreeToken