ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

5步跑通Fay数字人框架:从克隆代码到连通大模型的完整实战

5步跑通Fay数字人框架:从克隆代码到连通大模型的完整实战 5步跑通Fay数字人框架从克隆代码到连通大模型的完整实战【免费下载链接】Fayfay是一个帮助数字人2.5d、3d、移动、pc、网页或大语言模型openai兼容、deepseek连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay想让数字人真正开口说话、动手干活你折腾了多久Fay数字人框架是一个开源的agent框架把2.5d/3d数字人移动端、PC、网页和大语言模型openai兼容接口、deepseek等连通到业务系统让数字人从摆拍形象变成能干活的伙伴。本文把流程拆成5步选版本、环境预检、首次跑通、关键配置、场景落地照着做就能把服务跑起来。第一步选定你的Fay版本动手之前先回答你要跑哪个Fay——这决定了后面所有配置的方向。Fay按分工拆成3个版本版本核心定位典型能力适合你的情况带货完整版让弹幕变订单b站与微信视频号弹幕监听、百度情感分析、弹幕违规与违禁词过滤、欢迎/闲时文案做直播带货数字销售员助理完整版让对话变动作语音交互、设备开关指令、funasr热词识别、pdf知识库查询做客服或个人助理agent版从你问我答变它主动自主决策、工具调用网页检索、python执行器等、主动发微信消息做自主办公代理拿不准就从助理版入手它的交互链路最完整且模型、音频两组核心配置与其他版本相通之后切换成本最低。第二步环境预检开工前必须做的3件事版本选好后先花5分钟做一遍预检多数安装问题能在这一步排除。备一个干净的Python环境。Fay基于Python生态此前更新曾修复过langchain包默认版本问题建议新建虚拟环境、用最新代码装依赖避免混装冲突。拿到代码。在终端执行git clone https://gitcode.com/GitHub_Trending/fay/Fay cd Fay通读一遍 README。三个版本各自的代码入口和框架文档入口都列在README顶部后面的更新记录也值得过目——看完你就知道该进哪个目录、需要准备哪些密钥。第三步首次跑通3个动作启动助理版环境就绪后先挑场景最通用的助理版跑一遍。装依赖。进入助理版目录按仓库内的依赖清单安装Python依赖即可。填模型配置。填入大模型的API密钥与base_url。Fay走openai兼容接口除了openaideepseek、moonshot都能接本地自己部署模型的话可用vllm或fastchat方案省显存还提速。gpt代理默认是空的真走代理时才填。启动服务并自检。按README给出的方式启动服务用浏览器打开网页核对3点文字提问能收到回复打开tts合成开关后有语音输出语音输入能被正确转写。✅ 3点全过就算跑通了。卡在这一步时多半是配置漏填或代码版本过旧先回第二步复核。第四步关键配置3组参数填什么跑通只是开始好不好用看这3组参数。模型组gpt模型配置、gpt代理默认空、base_url。2024.07.10的更新修掉了代理留空时某些base_url报错的问题如果你遇到过这个报错先升级代码。音频组TTS引擎可在阿里云tts、azure tts支持情感音频、gptsovits2024年7月新接入中任选tts配置已分离并带独立合成开关识别端用funasr可配热词提升专业词汇识别率。业务组情感分析走百度密钥留空时该功能自动关闭知识库工具已从主程序分离要用pdf知识库查询需自行在工具内配置弹幕与违禁词配置只有带货版才需要。⚠️ 还有一点前端在开启后会禁止修改部分配置项所以要先配好、再启动服务改完不重启是不生效的。第五步场景落地3个版本各能干什么参数填完看看Fay在3类业务里具体怎么替你干活。带货直播间里实时接弹幕带货版监听b站弹幕和微信视频号按格式过滤弹幕并做规范、违规检查本地违禁词和处理方式都能自己配。百度情感分析判断观众情绪后数字人调整回应口径冷场时自动切闲时文案不用人工救场。助理不止问答还能指挥设备助理版最特别的一点是能动手——你可以直接语音命令它开关设备。配上funasr热词识别后专业词汇的识别准确率明显提升再挂上pdf知识库它就变成一个领域问答助手。agent从等指令到主动干活agent版能自主决定下一步做什么还会主动联系你比如主动发微信消息。它自带一套工具本地知识库pdf查询、获取网页内容、网页检索、python执行器、面板发送消息历史记录的读取条数也可以自己定。排坑与后续遇到问题去哪找最后把更新记录里真实踩过的坑和后续路径收拢到一起。现象处理建议gpt代理留空、某些base_url报错2024.07.10更新已修复先升级到最新代码再核对base_urltts前几个字不读2024年7月更新已解决优先检查代码版本页面白屏2024年多次优化过白屏问题先重启服务再看更新记录确认是否版本过旧metahuman-stream连接不稳定最新更新已修复复现时先看连接状态显示后续路径安装细节与框架文档入口查仓库的 README新增TTS引擎、工具调用等能力变动看README里的更新记录卡住了可按README末尾标注的微信公众号 fay数字人联系项目方。【免费下载链接】Fayfay是一个帮助数字人2.5d、3d、移动、pc、网页或大语言模型openai兼容、deepseek连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表