首頁 > AI工具 > Hy Realtime:騰訊混元的實時語音模型 元寶裡選“初語”音色就能用 會聯網也會唱歌

Hy Realtime:騰訊混元的實時語音模型 元寶裡選“初語”音色就能用 會聯網也會唱歌

更新時間:2026-11-16 09:39:49 發布時間:2天前 閱讀:38次

Hy Realtime 是騰訊混元 2026 年 11 月 13 日發佈的實時語音模型,已在元寶語音通話和騰訊客服上線,騰訊雲 API 的官方口徑是近期開放,介面、配額和價格都沒給。在元寶裡試的路徑是更新到最新版 App,點首頁右上角電話圖標進語音通話,選“自由對話”場景,把音色切成“初語”。沒裝 App 可以打開 rtcube.cloud.tencent.com 上的網頁 Demo,單次最長 10 分鐘,要手機號登入;模型在語音理解與表達之外新增了工具調用與唱歌。

Hy Realtime 是騰訊混元 2026 年 11 月 13 日發佈的實時語音模型

發佈渠道是騰訊混元公衆號,2026 年 11 月 13 日 16:32 發文,沒有開線下發佈會。官方給的品類是實時語音模型,場景是通話,不是在文字框裡一問一答。

官方把改動範圍寫成對語音實時互動模型做了重構,落到四處:演算法框架、資料品質、評測方案、訓推 Infra。

Hy Realtime 已在元寶語音通話和騰訊客服上線

已上線的入口是元寶語音通話與騰訊客服等產品,元寶是 C 端入口,騰訊客服是業務場景,跑的是同一個模型。

Hy Realtime 在元寶裡怎麼開:選“初語”音色

官方在圖注裡標的是移動端免費體驗,操作在元寶 App 內完成。

  1. 把 元寶 App 更新到最新版,打開後點首頁右上角的電話圖標。注意進的是語音通話,不是底部的文字輸入框。
  2. 在通話頁選“自由對話”場景。同一層還有口語陪練、海龜湯、同傳翻譯三個場景。
  3. 點右上角的音色設定,在列表裡選“初語”。列表裡還有悠悠、至尊寶、小涵、小威四個音色。
元寶 App 三步體驗 Hy Realtime 語音通話 電話圖標 自由對話 初語音色
騰訊混元發佈稿裡的路徑圖,右圖音色列表底部寫著“選中後,下一次提問生效”

音色選中後不當場生效,下一次提問才用上“初語”。元寶 App 的下載地址是 yuanbao.tencent.com/download。

Hy Realtime 的網頁 Demo 只開放部分能力

地址是 rtcube.cloud.tencent.com/component/hunyuan/index.html,頁面標題寫的是“混元語音對話 – 騰訊雲 TRTC”。首屏文案寫的是:點選按鈕開口聊天,隨時可以打斷;單次體驗最長 10 分鐘。頁面底部標的是“內容由 AI 生成 · 基於騰訊雲實時音影片 TRTC & Hy Realtime”,Demo 走的是 TRTC 的實時音影片鏈路。

頂部兩個標籤:Hy Realtime、聯網。聯網在產品頁上是固定標籤,不在設定面板裡單獨開。左側“助手設定”四項,說明文字寫在面板裡:

設定項 頁面說明
聯網搜尋 開啟後助手可以查實時資訊,回答會慢一些
AI 降噪 過濾環境噪聲和遠處人聲,減少助手被誤打斷
麥克風來源 選擇輸入設備
助手音量 預設 100%

點“開始對話”要先用 +86 手機號收驗證碼登入,勾選隱私協議和使用者協議,不登入進不到對話介面。官方寫明網頁 Demo 只提供部分能力,元寶語音通話裡的功能它不全有。

Hy Realtime 的工具調用是自己判斷要不要聯網

判斷權在模型:它按對話上下文和使用者意圖決定要不要聯網,不需要使用者先說要搜。一次回答裡串三步:搜尋決策、調用工具、生成回答。

判錯有兩種:該搜沒搜,用訓練時的舊知識作答;不該搜卻搜了,多一次往返,回答也會變慢。

RL 階段對冗餘檢索做了階梯式降權,獎勵項裡有一項叫搜尋成本獎勵。發佈稿點名的工具只有聯網搜尋,沒有列全部工具,也沒有給判斷準確率。

Hy Realtime 的唱歌按歌手、專輯、曲風、語種、年份、熱度點歌

唱歌能力與騰訊音樂 TME 靈音 AI 團隊 Co-Design,不是單獨接一個歌聲合成模型。點歌條件可以組合:歌手、專輯、曲風、語種、發行年份、熱度六個維度。官方給的例子是“來首 2010 年到 2020 年之間的英文民謠”,模型接多輪上下文取條件、匹配歌曲、開口唱。

能承接前文繼續選歌,點歌可以連續多輪。演唱上的改動列了三處:情緒層次、咬字與氣息銜接、旋律與節奏。曲庫規模和版權範圍發佈稿沒寫,點歌的匹配準確率也沒給。

Hy Realtime 的訓練分四階段:CT、SFT、MOPD、Mix-RL

四個階段串成一條鏈:模態對齊、任務聯合、教師蒸餾、混合強化。

階段 名稱與訓練過程
Stage 1 CT:Hy LLM Base 與 Audio Encoder 兩路輸入,過 Adapter 對齊、模態交織建模、複雜聲學場景感知
Stage 2 SFT:基礎智商任務、專項語音任務、工具調用任務三類聯合 SFT,產出 SFT Model
Stage 3 MOPD:基礎能力教師與語音能力教師兩路,Reverse KL 逐 token 監督,學生按 Rollout 更新
Stage 4 Mix-RL:混合 Rollout 分三組獎勵,General RL、Agentic Search RL 與門控獎勵,最後更新策略、同步權重

Stage 1 產出 CT Model,Stage 4 結束產出 Hy Realtime。

CT 資料到千萬小時級,任務形態從 ASR 擴到音訊理解、音樂理解、語音翻譯,配 51 套純文字集與 50+ 套語音評測集。

SFT 側的專項資料點名的是 Context-ASR、長程多輪、指令遵循、邏輯推理、需求理解、情感共情、工具調用;清洗用 MinHash LSH 去重、Topic 均衡分佈、人工抽檢,外面套十維剛性評測護欄。預訓練階段的感知目標不止語音轉文字,還包括情感、語調與環境音。

Hy Realtime 的 21% 到 69% 是跨模態遷移保留率

官方原句是:將高品質文字資料向語音任務的有效遷移保留率從 21% 提升至 69%。說的是文字模型裡的知識與推理轉成語音問答後還能剩下多少,差額來自端到端語音模型的跨模態智商折損。

口徑沒公開:測試集、判定方式、樣本量發佈稿都沒寫,只能按官方自述看。

Hy Realtime 基礎智商評測 Hy-Eval-Audio3.0 得分對比
官方“基礎智商評測[自建]”圖,Hy Realtime 39.33,上一代 Hy2-O 19.54 疊在同一根柱裡

自建的基礎智商評測叫 Hy-Eval-Audio3.0,覆蓋數學、科學、邏輯推理、知識問答、複雜指令、文字理解、多輪;Hy Realtime 得 39.33,上一代 Hy2-O 是 19.54。

Hy Realtime 的低延遲語音生成分三段訓練

做法是把文字與語音放進同一條序列協同建模,邊生成文字邊合成語音,不等整段文字說完再開口。訓練按順序分三段:

順序是先通用後專用,前兩段管能說與會說,第三段管音色與情感。發佈稿沒有給首響延遲的毫秒數。

Hy Realtime 的評測:專家盲評與四個公開榜

Hy Realtime 產品專家評測 綜合分數與可用率對比
官方“產品專家評測”圖,對標的是各家 App 的使用表現;Hy Realtime 的柱子裡把上一代 Hy2-O 單列了一層

專家盲評的對標對象是產品不是介面,六個名字各自對應使用者能裝到的 App,下表按綜合分數從高到低排:

模型 綜合分數 可用率
豆包 APP 2.56 40.63
Hy Realtime 2.52 40.63
Qwen APP 2.29 32.10
GPT-Live APP 2.14 27.93
Gemini Live App 1.94 21.40

可用率一項 Hy Realtime 與豆包 APP 都是 40.63,並列第一,綜合分數豆包 APP 高 0.04。四個公開榜裡只有一個第一:Wild Speech Bench 75.35,第二名 Seed2.0-Lite 74.80;另外三項都排第二,與第一名的分差是 Big Bench Audio 0.50、Voice Bench 0.06、Open Audio Bench 1.01。

模型 Big Bench Audio Voice Bench Open Audio Bench Wild Speech Bench
Hy Realtime 98.60 92.20 85.84 75.35
Qwen3.8-Omni-Flash 99.10 86.76 82.67 71.36
Gemini-3.8-Flash 98.50 92.26 86.85 73.61
Seed2.0-Lite 91.80 87.10 85.26 74.80
GPT-Realtime-2.1 87.10 89.15 81.00 71.37

圖注寫明 Gemini-3.8-Flash 用的是 low think 模式,其他模型都關掉 think。

Hy Realtime 公開 Benchmark 評測 四個榜單柱狀圖
官方“公開Benchmark評測”圖,四個榜單從左到右依次是 Big Bench Audio、Voice Bench、Open Audio Bench、Wild Speech Bench

Hy Realtime 的下一步是雙工、長期記憶與前後台 Agent

下一步列在發佈稿結尾,三條:

都寫在“下一步”,不是這一版已經交付的能力。