WorldSonus：边出画面边配立体声，100ms 一块的实时音效模型

WorldSonus 是香港科技大学、Noiz AI、MetaX 与上海交大联合开源的视频配音框架，论文编号 arXiv 2610.08760。它和常见的「整段视频丢进去、等几分钟出音频」不同：视频帧一边生成，它一边以 100ms 为一块往外吐 48kHz 立体声，实测实时率 RTF 0.41，生成途中还能换掉音效提示词。

WorldSonus 是什么

• 任务：视频转音频（V2A），给画面配环境音与音效。
• 架构：因果自回归扩散，音频编码进立体声 VAE 的连续潜空间。
• 分块：每 100ms 一块，对应 3 个 latent 帧。
• 输出：48kHz 双声道，声源方位与镜头运动进左右声道。
• 记忆：5 秒 Ring-KV 循环缓存，显存恒定。
• 视觉条件：冻结 DINOv3 提特征，T5Gemma 2 编码提示词。
• 许可：CC BY-NC 4.0，仅限非商用。

WorldSonus 能解决什么

• 世界模型没声音：交互式生成的画面是哑的，缺环境音。
• 离线配音太慢：双向模型要等整段视频跑完才出声。
• 不能中途改：生成到一半想换音效，只能重跑。
• 声音不贴画面：脚步声、车流声和画面里声源方位对不上。
• 接不进引擎：只吃已生成的帧，才好挂到游戏引擎或世界模型后面。

WorldSonus 怎么用

• 环境：Python 3.10+、NVIDIA 显卡、FFmpeg 与 ffprobe。
• 装依赖：克隆仓库后跑 bash scripts/setup.sh .venv，会装 CUDA 12.4 版 PyTorch。
• 装本体：pip install -e '.[features]'。
• 下权重：python scripts/download_model.py --output assets。
• 下编码器：download_encoders.py 拉 DINOv3 与 T5Gemma 2，需在 HF 接受各自条款。
• 整段配音：python -m worldsonus.infer --video input.mp4 --prompt "描述" --output out.wav。
• 流式：加 --stream 分块增量生成。
• 边生成边听：再加 --pcm-stdout 管道给 ffplay。

WorldSonus 的效果和局限

• 实时率：RTF 0.41，一块 100ms 音频约 41ms 算完。
• 音质：论文称在开源域视频上追平或超过双向离线模型。
• 对齐：ShiftNCE 把同步能力蒸进隐状态，推理不加开销。
• 长程：Ring-KV 缓存下连续生成不漂移、不崩塌。
• 不能商用：权重是 CC BY-NC 4.0，商业项目用不了。
• 只能看过去：严格因果，未来帧信息用不上，天生比双向模型吃亏。
• 首次运行慢：要编译 kernel，急的话加 --no-compile。
• 依赖外部组件：DINOv3、T5Gemma 2 单独授权，需账号认证。

WorldSonus 示例

• 截窗口：加 --start 5 --seconds 10 只处理第 5 秒起的 10 秒。
• 纯视频条件：去掉 --prompt，模型自己判断该出什么声。
• 边生成边播：--stream --pcm-stdout | ffplay -f f32le -ar 48000 -ac 2 -i - -nodisp。
• 中途改词：换提示词只在最近块边界生效，前面已生成的不用重算。
• 接引擎：只喂已渲染的帧，输出接回世界模型的音频轨。

WorldSonus 应用场景

• 世界模型配音：GameGen-X、LingBot-World 这类交互生成，画面走到哪声音跟到哪。
• 虚拟直播：数字人边生成边出声，中途改音效不用停播。
• 长视频配乐：预告片、AI 长片不等渲染完就逐块出音频。
• 仿真训练：自动驾驶、VR 环境要相机对齐的空间音频。
• 不适合：商业发行、以及需要看完整视频再决定音效的离线精修。

• PixTV生成视频稳定吗？失败率和重试做法

  稳定性不是一个固定值，取决于你用的参数组合。PixTV 的出片成功率跟镜头复杂度、时长档位、参考图质量强相关；用同一套参数...

  2026-10-23
• PixTV的优缺点有哪些？三条体感对照

  三条最影响日常：出片效率高、可控性中等、成本偏高。PixTV 的强项是画布式的批量出片，弱项是精细控制要反复重生成，值不值...

  2026-10-23
• LibTV生成失败在哪看原因？三处提示的判定顺序

  失败原因不在弹窗里，在三处记录：画布节点的状态、任务的详情页、积分明细那一行。LibTV 把提示拆开写，按这个顺序看，两分...

  2026-10-23
• LibTV为啥一直生成失败？参数和素材两头排

  连着失败，问题在两头：参数组合超出档位能力，或者素材本身不合格。LibTV 里最常见的三个触发点是一次要的动作太多、时长拉...

  2026-10-23
• LibTV网页进不去？加载卡住和Mac端的差别

  先分清在哪一端出问题：网页端多是链路和缓存，Mac 端多是客户端权限和系统版本。LibTV 两端的故障表现不一样，用同一套办法...

  2026-10-23