首页 > 其他 > Fish Audio Drama 3怎么用?多角色配音和情绪控制教程

Fish Audio Drama 3怎么用?多角色配音和情绪控制教程

更新时间:2026-10-16 00:09:25 发布时间:5小时前 阅读:7次

Fish Audio Drama 3 是 Fish Audio 在 2026 年 10 月 13 日上线的可导演语音合成模型,把一个 35B 参数的混合专家模型做成能听懂表演指令的配音引擎,权重同步放上了 Hugging Face。用法是在台词里用方括号写导演指令,模型照着指令给出情绪、语速和语气,一句话里能从克制转到崩溃。多角色对话可以在一次请求里生成,最多容纳 16 个角色,覆盖 83 种语言,中文、日文、韩文都在内。

Fish Audio多角色配音

Fish Audio Drama 3 是什么

它是一个 35B 参数的混合专家模型,每个 token 只激活约 3B,主干从 Qwen3.5-35B-A3B 出发。音频侧沿用上一代的 Descript Audio Codec,输出 44.1kHz,每秒约 21.5 帧。官方给出的人工评测数据显示,Drama 3 在 Artificial Analysis 的发音鲁棒性榜上拿到 93.2%,排在第一位,上一代 S2.1 Pro 是 88.1%。

定位把语音合成的重心从生成挪到导演。有声书、广播剧这类多角色配音的长篇内容,过去要一段段生成再拼接,情绪接不上;Drama 3 按整段脚本维持同一个表演状态,导演讲戏的过程被搬进了输入框。

Fish Audio Drama 3 怎么写导演指令

指令写在方括号里,直接混在台词中间,比如在台词前放一句 barely holding it together, forcing a smile。这种写法和给演员说戏一样,模型读到括号就切换表演状态。成对出现的标签只作用于括起来的那几个词,不会影响整句。

一句台词里可以放多条指令。开头平静、中途转成急促、结尾压成耳语,只要在情绪变化的位置插入新的方括号,模型就在那里换挡,不需要重新录一版。官方放出的对比里,同一句台词在 S2.1 Pro 上是平铺直叙,在 Drama 3 上能听出压抑的哭腔、断掉的气息和一声没忍住的轻笑。

Fish Audio Drama 3 多角色对话怎么生成

一次 API 请求最多能放 16 个角色,每个说话人绑一个 voice id,整场戏在一个调用里渲染完,每个角色保留自己的音色并回应上一句。长篇一致性也按整段脚本维持,中途切换语言不换人,发音可以精确到音素级别,英文、中文、日文、韩文都支持。

给数字人视频配音时,Drama 3 只负责音轨那一层,画面仍由另外的工具驱动,两个环节分开做反而更好调。有声书和多语言配音这类长项目最受用,改一个词不用重录整章。

Fish Audio Drama 3 本地部署和价格

官方安装文档写明的下限是单张 48GB 显存以上的 NVIDIA 显卡,用 FP8 精度运行,CPU、苹果 MPS 和 AMD ROCm 都不支持。MoE 专家层以 FP8 存放,其余权重是 bf16,服务侧走 SGLang-Omni,融合算子目前只在 Hopper 架构上验证过。官方公布的单路流式数据是首包延迟 88.9 毫秒,实时系数 0.131,16 路并发时吞吐约 927.6 帧每秒。

不想折腾本地部署,直接调官方 API 也行。到 2026 年 11 月 12 日为止,API 价格是每百万字符 10 美元,相当于原价 50 美元的两折,新建创作者订阅同期五折。编辑能力里,交互式编辑和音频修补还在限量邀请测试,后者可以只替换某一个词,不重录整段。

常见问题

Fish Audio Drama 3 免费吗

看使用方式。通过官网、App 或 API 调用按字符用量付费,到 2026 年 11 月 12 日之前 API 打两折。自己部署是另一条路,权重在 Hugging Face 可以下载,年营收低于 50 万美元的个人或公司能直接商用。

Fish Audio Drama 3 支持中文吗

支持。模型覆盖 83 种语言,中文、英文、日文、韩文都在列表里。导演指令用什么语言写都可以,和台词本身的语言不必一致。同一段表演里从中文切到英文时音色和情绪不会断掉,多语言配音和有声书这类场景可以直接用。

Fish Audio Drama 3 要多高的配置

官方文档给的下限是单张显存 48GB 以上的 NVIDIA 显卡,并且要用 FP8 精度运行,CPU、苹果 MPS 和 AMD ROCm 都不在支持范围内。所有性能数据都是在一张 H200 上测出来的,显存不够只能走官方 API。

Fish Audio Drama 3 和 S2.1 Pro 差在哪

差在可控性。同一音色、同一句台词,Drama 3 能按方括号指令演出情绪起伏,S2.1 Pro 更接近平铺直叙。发音准确率上 Drama 3 拿到 93.2%,S2.1 Pro 是 88.1%,质量榜的 Elo 也是 Drama 3 领先。 内容基于公开信息整理,产品功能与价格以官方页面为准。

标签:
相关文章