WorldSonus：邊出畫面邊配立體聲，100ms 一塊的實時音效模型

WorldSonus 是香港科技大學、Noiz AI、MetaX 與上海交大聯合開源的影片配音框架，論文編號 arXiv 2610.08760。它和常見的「整段影片丟進去、等幾分鐘出音訊」不同：影片幀一邊生成，它一邊以 100ms 為一塊往外吐 48kHz 立體聲，實測實時率 RTF 0.41，生成途中還能換掉音效提示詞。

WorldSonus 是什麼

• 任務：影片轉音訊（V2A），給畫面配環境音與音效。
• 架構：因果自迴歸擴散，音訊編碼進立體聲 VAE 的連續潛空間。
• 分塊：每 100ms 一塊，對應 3 個 latent 幀。
• 輸出：48kHz 雙聲道，聲源方位與鏡頭運動進左右聲道。
• 記憶：5 秒 Ring-KV 循環快取，顯存恆定。
• 視覺條件：凍結 DINOv3 提特徵，T5Gemma 2 編碼提示詞。
• 許可：CC BY-NC 4.0，僅限非商用。

WorldSonus 能解決什麼

• 世界模型沒聲音：互動式生成的畫面是啞的，缺環境音。
• 離線配音太慢：雙向模型要等整段影片跑完才出聲。
• 不能中途改：生成到一半想換音效，只能重跑。
• 聲音不貼畫面：腳步聲、車流聲和畫面裡聲源方位對不上。
• 接不進引擎：只吃已生成的幀，才好掛到遊戲引擎或世界模型後面。

WorldSonus 怎麼用

• 環境：Python 3.10+、NVIDIA 顯卡、FFmpeg 與 ffprobe。
• 裝依賴：克隆倉庫後跑 bash scripts/setup.sh .venv，會裝 CUDA 12.4 版 PyTorch。
• 裝本體：pip install -e '.[features]'。
• 下權重：python scripts/download_model.py --output assets。
• 下編碼器：download_encoders.py 拉 DINOv3 與 T5Gemma 2，需在 HF 接受各自條款。
• 整段配音：python -m worldsonus.infer --video input.mp4 --prompt "描述" --output out.wav。
• 流式：加 --stream 分塊增量生成。
• 邊生成邊聽：再加 --pcm-stdout 管道給 ffplay。

WorldSonus 的效果和侷限

• 實時率：RTF 0.41，一塊 100ms 音訊約 41ms 算完。
• 音質：論文稱在開源域影片上追平或超過雙向離線模型。
• 對齊：ShiftNCE 把同步能力蒸進隱狀態，推理不加開銷。
• 長程：Ring-KV 快取下連續生成不漂移、不崩塌。
• 不能商用：權重是 CC BY-NC 4.0，商業項目用不了。
• 只能看過去：嚴格因果，未來幀資訊用不上，天生比雙向模型吃虧。
• 首次運行慢：要編譯 kernel，急的話加 --no-compile。
• 依賴外部組件：DINOv3、T5Gemma 2 單獨授權，需帳號認證。

WorldSonus 示例

• 截視窗：加 --start 5 --seconds 10 只處理第 5 秒起的 10 秒。
• 純影片條件：去掉 --prompt，模型自己判斷該出什麼聲。
• 邊生成邊播：--stream --pcm-stdout | ffplay -f f32le -ar 48000 -ac 2 -i - -nodisp。
• 中途改詞：換提示詞只在最近塊邊界生效，前面已生成的不用重算。
• 接引擎：只喂已渲染的幀，輸出接回世界模型的音訊軌。

WorldSonus 應用場景

• 世界模型配音：GameGen-X、LingBot-World 這類互動生成，畫面走到哪聲音跟到哪。
• 虛擬直播：數字人邊生成邊出聲，中途改音效不用停播。
• 長影片配樂：預告片、AI 長片不等渲染完就逐塊出音訊。
• 模擬訓練：自動駕駛、VR 環境要相機對齊的空間音訊。
• 不適合：商業發行、以及需要看完整影片再決定音效的離線精修。

• ChatGPT 怎麼用剪映國際版剪影片：上傳素材到出初剪的完整流程

  這篇說的是鏈路，不是按鈕。剪映國際版在ChatGPT裡的外掛還沒開放，官方只給了能力清單：搜範本、剪影片、自動字幕、生成圖和...

  2026-10-27
• 小橡皮AI：把 AI 稿子的機器味擦掉再發佈

  小橡皮AI 是上海逐筆智慧科技有限公司做的文案改寫工作台，備案號滬ICP備2024073463號-4。它只管一件事：稿子發出去之前，把 ...

  2026-10-27
• 商品主圖AI怎麼製作？高品質設計生成指令

  商品主圖用AI做，卡住人的通常不是軟體本身，而是兩件事：不知道從哪一步開始，以及生成出來產品變了樣。下面是一條從頭走通...

  2026-10-27
• Podeo.ai：把播客音訊直接變成有畫面的影片

  Podeo.ai 是一個把播客音訊直接變成影片的 AI 工具。上傳一期節目的 MP3，它按內容一個想法配一個場景，自動補畫面、字幕和動...

  2026-10-27
• CapCut 外掛在 ChatGPT 裡怎麼新增？測試期前的準備清單

  外掛測試定在十一月，現在能裝的只有Codex那條路。想在開放前把環境備齊，要準備的項不算多但每項都卡人：終端、Node、帳號地...

  2026-10-27