Hy-SimulMT：延迟 3 秒、还能克隆音色的中英同传模型

Hy-SimulMT 是腾讯混元在 2026 年 10 月 26 日开源的同声传译模型，支持中英双向语音到语音：说话人一直讲，它边听边译，同步输出译文文字和语音，还能把说话人的音色一起搬过去。在 RealSI 长音频评测里，它的流式延迟约 3 秒，是官方对比系统中最低的，翻译质量则超过了参与对比的全部开源模型和五个商用 API 中的四个。

Hy-SimulMT 是什么

• 任务：中英双向同声传译，语音进、语音出。
• 结构：Hy-SimulMT-30B-A3B，总参 30B、每次激活约 3B 的 MoE。
• 底座：混元 HYV3ForCausalLM 系列，推理主力是 vLLM。
• 输出模式：纯译文版，以及同时给源文与译文的 Interleave 版。
• 量化版：FP8 与 GGUF 都有，GGUF 走 llama.cpp。
• 配套工具：SimulInfer 管推理服务，SimulTrain 管继续训练。
• 体验入口：腾讯 Hy 翻译 App，安卓和 iOS 都能下。

Hy-SimulMT 能解决什么

• 等得太久：逐句等说完再译，对话节奏全断。
• 不敢早开口：早译容易错，晚译冷场，这是同传的老矛盾。
• 声音不是本人：译出来的语音一听就是机器，多人场景分不清谁在说。
• 只能买 API：商用同传服务不给权重，没法私有化。
• 没法二次训练：垂直领域术语想优化，接口不给这个口子。

Hy-SimulMT 怎么用

• 克隆仓库：git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git。
• 环境：Linux、Python 3.12+、NVIDIA 显卡、CUDA 驱动。
• 一键起服务：在 SimulInfer/ 下跑 bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave。
• 配 TTS：要语音输出和音色克隆，得在 config.toml 里接一个 TTS 服务。
• 打开页面：终端出现 Ready: http://127.0.0.1:8080/ 后进这个地址。
• 选方向：页面里挑中译英或英译中，传音频或开麦说话。
• 命令行：curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F file=@audio.wav。
• 换显卡：加 --gpus 0,1 --tensor-parallel-size 2 走多卡。

Hy-SimulMT 的效果和局限

• 延迟：RealSI 长音频 StreamLAAL 约 3 秒，对比系统中最低。
• 质量：GEMBA 分数超过全部对比开源模型与 5 个商用 API 中的 4 个。
• 短音频：RealSI-Sentence 84.7，全表最高；FLEURS 90.3。
• 对人不吃亏：与 6 位 CATTI 一二级持证译员盲测，质量相当、响应更快。
• 长板之外有短板：CoVoST2 只有 75.5，低于 Qwen3.8-LiveTranslate 的 82.1。
• 语音靠外挂：音色克隆与合成由独立 TTS 完成，识别错误会往下游传。
• 只做中英：其他语向没有覆盖。
• llama.cpp 未合入：GGUF 路线的 PR 还挂着，服务端支持待补。
• 显存门槛未写明：30B 模型要吃多少卡，仓库没给基准表。

Hy-SimulMT 示例

• 传文件：direction=en-zh 指定英译中，file=@audio.wav 传音频。
• 客户端：用仓库自带的 simulinfer-client audio.wav --url http://127.0.0.1:8080。
• 接口文档：服务起来后打开 /docs 看完整 API。
• 英译中演示：三位说话人，音色分别保留，听得出谁在讲。
• 中译英演示：同一段中文换成英文语音，节奏跟着原话走。
• 盲测样例：四段与人类译员的对照视频，含 26 到 38 秒的短片。

Hy-SimulMT 应用场景

• 国际会议：官方称为大型活动志愿者与基层服务人员提供 AI 翻译。
• 跨国会议谈判：各方用母语发言，实时听到译文。
• 讲座与培训：单人长时间输出，适合当「辅助理解」用。
• 访谈与播客：多人对话里克隆各人音色，听众不混淆。
• 涉外服务窗口：机场、酒店、展会的低风险日常沟通。
• 不适合：要担责的高风险场合，官方自己说专业译员仍不可替代。

• muse怎么登录？账号登录方式与常见问题解决

  Muse的登录其实很简单，因为你根本不用在网页或独立App里登录。它直接内置在WhatsApp和Instagram里，用你已有的Meta账户就能...

  2026-10-07
• muse spark怎么样？真实使用体验与优缺点评价

  Muse Spark是Meta推出的高端版Muse，能力更强，但也更复杂。它支持图像识别、文件处理、更复杂的任务执行，还能记住你的使用...

  2026-10-07
• muse和dots哪个好？Meta与OpenAI个人AI智能体详细对比

  Muse和Dots看起来都是AI助手，但一个是Meta的”执行型”，一个是OpenAI的”对话型”。Muse能替你办事——...

  2026-10-07
• muse怎么注册？大陆用户注册下载与上手完整教程

  Muse是Meta在2026年9月推出的个人AI智能体，能帮你订餐、订机票、填表、比价等日常任务。它用Muse Spark多模态模型作为底层...

  2026-10-07
• 即梦图片4.0怎么用？新模型生图功能与提示词技巧全解

  即梦的图片模型现在一共 9 个档位，图片 4.0（Seedream 4.0）是其中偏下的一档，不是最新。要用它出图，动作只有一个：在「...

  2026-10-27