ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

SillyTavern 完整调优:让聊天等待从数秒降到秒内

SillyTavern 完整调优:让聊天等待从数秒降到秒内 SillyTavern 完整调优让聊天等待从数秒降到秒内【免费下载链接】SillyTavernLLM Frontend for Power Users.项目地址: https://gitcode.com/GitHub_Trending/si/SillyTavern你刚发完一句话光标闪了三秒对面才回过来角色库攒了几百张卡打开角色列表还要再转一圈。这不是网络的问题——SillyTavern 的性能调优大部分动作发生在default/config.yaml里的几个开关上。服务器侧的卡片解析、请求体传输、出站连接复用都有现成的配置项默认值偏保守手动打开就能见效。SillyTavern 默认酒馆背景场景体检你大概率中招的 3 个表现角色列表转圈卡库一大服务器默认对每张 PNG 内嵌卡做完整解析图片里的 base64 数据被解码成卡片 JSON列表接口把全部解析完才返回。卡越多等得越久。保存设置转圈保存设置、导出聊天备份走的是大 payload 请求默认请求体不压缩几百 KB 的数据原样推给服务器弱网下这一步最明显。回复来得慢半拍服务器每次向模型 API 发起生成请求都新建 TCP 连接握手和 TLS 协商每轮都付一次钱多轮对话的等待被一点点拉长。 动手改按文件位置分四块四处改动全在default/config.yaml改完重启服务器生效。在 config.yaml 里开启角色卡懒加载改default/config.yaml的performance块。懒加载lazy load就是列表先只拿缩略数据点进哪个角色才完整解析哪张卡专门针对大卡库useDiskCache和内存缓存默认已开不用动performance: lazyLoadCharacters: true # 默认 false列表先返回浅层卡数据 memoryCacheCapacity: 100mb # 保持默认解析过的卡留内存 useDiskCache: true # 默认已开不用动改完你会看到角色列表接口明显先返回点开某个角色时才按需加载完整卡片数据重复打开同一张卡直接命中内存/磁盘缓存缓存在data/_cache下不再重新解析。让设置和聊天保存请求走 gzip同一个performance块下的requestCompression默认是关的performance: requestCompression: enabled: true # 默认 false minPayloadSize: 256kb # 小请求不压缩省 CPU改完你会看到DevTools 里保存设置、备份聊天的请求体积明显变小弱网下保存完成得更快。小于256kb的请求不受影响。复用通往模型 API 的 TCP 连接改config.yaml顶层的enableKeepAlive。这个开关控制 Node 出站 HTTP 代理也就是服务器发给 KoboldCpp、Ollama、OpenAI 等 API 的请求是否复用已建立的连接实现见 src/server-main.jsenableKeepAlive: true # 默认 false复用出站 HTTP/HTTPS 连接改完你会看到连续多轮生成之间不再每轮重握手回复首 token 的等待稳定地短一截。SillyTavern 聊天背景与调优场景把头像缩略图压成低质量 JPG改thumbnails块。头像列表页的图量全靠缩略图默认quality 95偏高thumbnails: format: jpg # 保持 jpg别改 png quality: 80 # 默认 95降到 80 肉眼几乎无差改完你会看到角色列表的缩略图流量整体下降。注意新参数只影响新生成的缩略图需要把用户数据目录下的thumbnails文件夹清掉重启后自动重建。✅ 自测5 分钟确认没白改改前各量一次基线改后再量格式照抄角色列表首请求耗时旧值 → 新值↓ XX%。怎么量DevTools → Network → 过滤api/characters刷新后看第一条请求的 duration。保存设置请求体积旧值 → 新值↓ XX%。怎么量DevTools → Network → 点保存设置那条请求 → Payload 标签对比改前后的大小。点开角色的加载时间旧值 → 新值↓ XX%。怎么量角色列表点一张卡Network 里看对应api/characters请求的 TTFB。SillyTavern 调优后自测场景⚠️ 踩坑提醒cacheBuster 反向操作→ 开了cacheBuster.enabled后每次首载会用Clear-Site-Data头把浏览器缓存清光等于每次打开都是冷启动 → 保持默认 false只在上传的图片浏览器里死活不更新时临时用。keep-alive 与部分代理环境冲突→ 开启后偶发 ECONNRESET 或请求中断配置注释里明确写了这是 Node 18 之后行为的已知问题→ 把enableKeepAlive改回 false 重启即可这是官方给的排障路径。懒加载和个别扩展不兼容→ 开lazyLoadCharacters后某扩展读不到完整卡数据 → 配置注释已提示此风险扩展报错就单独关掉懒加载。缩略图同理改了参数不删thumbnails目录会误以为没生效。收尾 你动的是default/config.yaml里的4 个开关懒加载、请求压缩、连接复用、缩略图质量从95 降到 80。改完后角色列表先回浅层数据、大保存请求走 gzip具体降了多少看上面 Network 面板里你记下的两个箭头数字。每个开关的官方语义在 default/config.yaml 的注释里都有说明缩略图与缓存机制可看 src/endpoints/thumbnails.js 和 src/endpoints/characters.js。【免费下载链接】SillyTavernLLM Frontend for Power Users.项目地址: https://gitcode.com/GitHub_Trending/si/SillyTavern创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表