Hy-SimulMT：延遲 3 秒、還能克隆音色的中英同傳模型

Hy-SimulMT 是騰訊混元在 2026 年 10 月 26 日開源的同聲傳譯模型，支援中英雙向語音到語音：說話人一直講，它邊聽邊譯，同步輸出譯文文字和語音，還能把說話人的音色一起搬過去。在 RealSI 長音訊評測裡，它的流式延遲約 3 秒，是官方對比系統中最低的，翻譯品質則超過了參與對比的全部開源模型和五個商用 API 中的四個。

Hy-SimulMT 是什麼

• 任務：中英雙向同聲傳譯，語音進、語音出。
• 結構：Hy-SimulMT-30B-A3B，總參 30B、每次啟用約 3B 的 MoE。
• 底座：混元 HYV3ForCausalLM 系列，推理主力是 vLLM。
• 輸出模式：純譯文版，以及同時給源文與譯文的 Interleave 版。
• 量化版：FP8 與 GGUF 都有，GGUF 走 llama.cpp。
• 配套工具：SimulInfer 管推理服務，SimulTrain 管繼續訓練。
• 體驗入口：騰訊 Hy 翻譯 App，安卓和 iOS 都能下。

Hy-SimulMT 能解決什麼

• 等得太久：逐句等說完再譯，對話節奏全斷。
• 不敢早開口：早譯容易錯，晚譯冷場，這是同傳的老矛盾。
• 聲音不是本人：譯出來的語音一聽就是機器，多人場景分不清誰在說。
• 只能買 API：商用同傳服務不給權重，沒法私有化。
• 沒法二次訓練：垂直領域術語想最佳化，介面不給這個口子。

Hy-SimulMT 怎麼用

• 克隆倉庫：git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git。
• 環境：Linux、Python 3.12+、NVIDIA 顯卡、CUDA 驅動。
• 一鍵起服務：在 SimulInfer/ 下跑 bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave。
• 配 TTS：要語音輸出和音色克隆，得在 config.toml 裡接一個 TTS 服務。
• 打開頁面：終端出現 Ready: http://127.0.0.1:8080/ 後進這個地址。
• 選方向：頁面裡挑中譯英或英譯中，傳音訊或開麥說話。
• 命令列：curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F file=@audio.wav。
• 換顯卡：加 --gpus 0,1 --tensor-parallel-size 2 走多卡。

Hy-SimulMT 的效果和侷限

• 延遲：RealSI 長音訊 StreamLAAL 約 3 秒，對比系統中最低。
• 品質：GEMBA 分數超過全部對比開源模型與 5 個商用 API 中的 4 個。
• 短音訊：RealSI-Sentence 84.7，全表最高；FLEURS 90.3。
• 對人不吃虧：與 6 位 CATTI 一二級持證譯員盲測，品質相當、響應更快。
• 長板之外有短板：CoVoST2 只有 75.5，低於 Qwen3.8-LiveTranslate 的 82.1。
• 語音靠外掛：音色克隆與合成由獨立 TTS 完成，識別錯誤會往下游傳。
• 只做中英：其他語向沒有覆蓋。
• llama.cpp 未合入：GGUF 路線的 PR 還掛著，服務端支援待補。
• 顯存門檻未寫明：30B 模型要吃多少卡，倉庫沒給基準表。

Hy-SimulMT 示例

• 傳檔案：direction=en-zh 指定英譯中，file=@audio.wav 傳音訊。
• 客戶端：用倉庫自帶的 simulinfer-client audio.wav --url http://127.0.0.1:8080。
• 介面文件：服務起來後打開 /docs 看完整 API。
• 英譯中演示：三位說話人，音色分別保留，聽得出誰在講。
• 中譯英演示：同一段中文換成英文語音，節奏跟著原話走。
• 盲測樣例：四段與人類譯員的對照影片，含 26 到 38 秒的短片。

Hy-SimulMT 應用場景

• 國際會議：官方稱為大型活動志願者與基層服務人員提供 AI 翻譯。
• 跨國會議談判：各方用母語發言，實時聽到譯文。
• 講座與培訓：單人長時間輸出，適合當「輔助理解」用。
• 訪談與播客：多人對話裡克隆各人音色，聽衆不混淆。
• 涉外服務視窗：機場、酒店、展會的低風險日常溝通。
• 不適合：要擔責的高風險場合，官方自己說專業譯員仍不可替代。

• 懂了鴨：把知識點做成能拖能玩的互動卡

  懂了鴨是騰訊 PCG 內測的 AI 互動內容社區，域名 dongleya.qq.com，微信小程式叫 AhaDuck。它面向學前到高中四個學段，家長、...

  2026-10-27
• ChatGPT 怎麼用剪映國際版剪影片：上傳素材到出初剪的完整流程

  這篇說的是鏈路，不是按鈕。剪映國際版在ChatGPT裡的外掛還沒開放，官方只給了能力清單：搜範本、剪影片、自動字幕、生成圖和...

  2026-10-27
• 小橡皮AI：把 AI 稿子的機器味擦掉再發佈

  小橡皮AI 是上海逐筆智慧科技有限公司做的文案改寫工作台，備案號滬ICP備2024073463號-4。它只管一件事：稿子發出去之前，把 ...

  2026-10-27
• 商品主圖AI怎麼製作？高品質設計生成指令

  商品主圖用AI做，卡住人的通常不是軟體本身，而是兩件事：不知道從哪一步開始，以及生成出來產品變了樣。下面是一條從頭走通...

  2026-10-27
• Podeo.ai：把播客音訊直接變成有畫面的影片

  Podeo.ai 是一個把播客音訊直接變成影片的 AI 工具。上傳一期節目的 MP3，它按內容一個想法配一個場景，自動補畫面、字幕和動...

  2026-10-27