首頁 > 其他 > GLM-Legal評測成績怎麼樣?Harvey LAB 19.2%是什麼水平

GLM-Legal評測成績怎麼樣?Harvey LAB 19.2%是什麼水平

更新時間:2026-10-15 07:56:19 發布時間:3小時前 閱讀:13 views次

GLM-Legal 最核心的一個數字是 Harvey LAB 全通過率 19.2%。這個分數在 Vals AI 的榜單上排 79 個參評模型的第 7 位,比它的基座 GLM-5.3-Flash 高了 12.5 個百分點,但放在絕對水平上看——還有約八成任務沒能全項通過。這篇把三個榜單的分數、成本和耗時放在一起看,說清它強在哪、弱在哪。

GLM-Legal評測成績是多少?

Vals AI 是一家專門做法律 AI 模型評測的平台,跑的是 Harvey 開發的 Legal Agent Benchmark(簡稱 Harvey LAB)。這個基準的特點是「全通過」評分:一項法律任務拆成若干個必做步驟,缺任何一步都算失敗,不給部分分。24 個執業領域、接近真實律所的工作流,所以分數普遍偏低。

GLM-Legal 在這套基準上的成績:

智譜自己公佈的口徑是 19.2%,和第三方跑出來的 19.17% 基本一致,這一點比較少見——很多廠商的發佈會數字和獨立復現會有明顯落差,這次沒有。

19.2%是什麼水平?

先說結論:這個分數很高,但不是因為它接近滿分,而是因為整套基準的分數普遍很低。

目前 Harvey LAB 上成績最好的模型是 Muse Spark 1.2,全通過率 25.42%。也就是說,全球最強的法律智慧體模型,仍然有大約四分之三的嚴格法律任務無法一次全項通過。GLM-Legal 的 19.2% 落到「四分之一到五分之一」這個區間,屬於能真正完成一部分完整任務、而不是隻會聊法律的水平。

更值得關注的是它相對基座的提升幅度:GLM-5.3-Flash 只有 6.67%,GLM-Legal 是 19.17%,漲了 12.5 個百分點,接近三倍。這說明法律語料中訓加任務環境強化學習這套做法確實起作用了,不是換個名字重新發一遍。

和Kimi K3、Claude Fable 5、GPT-6 Astra比怎麼樣?

把同期主流模型放在一張表裡,差異會更直觀。下面資料全部來自 Vals AI 在 2026 年 10 月 12 日的運行結果。

模型Harvey LAB 全通過率LegalBench法律研究基準單次任務成本平均耗時
GLM-Legal(智譜)19.17%86.23%41.83%約 0.15 美元1 小時 12 分
GLM-5.3-Flash(智譜基座)6.67%83.93%45.19%約 0.57 美元52 分 17 秒
Kimi K3(月之暗面)12.92%86.21%46.15%約 3.83 美元13 分 58 秒
Claude Fable 5(Anthropic)11.25%88.56%49.52%約 19.23 美元26 分 53 秒
GPT-6 Astra(OpenAI)5.42%未列出39.42%約 26.16 美元24 分 49 秒

這張表裡藏著三件事。

第一,任務完成能力上 GLM-Legal 領先。19.17% 比 Kimi K3 高 6.3 個百分點,比 Claude Fable 5 高近 8 個百分點,比 GPT-6 Astra 高出一倍以上。這是它被稱作「HLAB 開源權重第一」的來源。

第二,通用法律知識上它沒有優勢。LegalBench 上 Claude Fable 5 是 88.56%,Kimi K3 是 86.21%,GLM-Legal 是 86.23%,三家擠在一起,差距在測評容差範圍內。也就是說,如果你只是想讓模型答法律知識題,換成它不會更好。

第三,成本差距大得誇張。跑同一套 Harvey LAB,GLM-Legal 單次約 0.15 美元,Claude Fable 5 要 19.23 美元,GPT-6 Astra 要 26.16 美元——貴一百倍以上,結果反而更差。Vals AI 特別指出 GLM-Legal 是這一榜單前十名裡最便宜的。之所以便宜,是因為它的基座只有 3200 億總參數、180 億啟用,屬於輕量架構。

為什麼法律研究榜單反而掉了?

法律研究基準(Legal Research Bench)上,GLM-Legal 是 41.83%,比基座 GLM-5.3-Flash 的 45.19% 低了 3.36 個百分點;和 Kimi K3 的 46.15%、Claude Fable 5 的 49.52% 比也有差距。

這個回落說明一件事:針對「做完一整件任務」的強化訓練,可能削弱了通用檢索與文獻綜述的能力。法律研究更看重廣覆蓋和長鏈條資訊組織,而智慧體任務的評分邏輯是「按簡報交付成品」,兩者的最佳化方向不完全一致。這不是資料出錯,而是典型的垂類特化代價。如果你的用途是判例檢索、法條綜述,現階段的通用旗艦模型可能更合適。

耗時是最容易被忽略的短板

GLM-Legal 跑完一次 Harvey LAB 平均要 1 小時 12 分,而榜單第一的 Muse Spark 1.2 只要 24 分鐘,Kimi K3 甚至只要 14 分鐘。

對能等結果的長任務來說,這隻是慢一點;但對需要互動式推進的場景,三倍以上的等待時間會直接影響可用性。官方的說法是它把更多算力花在了推理深度上,換來更高的任務完成率——這是個取捨,不是純缺陷,但你選型時得知道這個取捨的方向。

GLM-Legal可靠爭議是怎麼回事?

圍繞它的質疑主要有三條,都能在公開資訊裡找到依據。

反過來看,它的分數經過了獨立平台復現,成本和耗時的資料也是第三方實測,可覈查的成分比一般發佈會要紮實。

常見問題

Harvey LAB 是什麼基準,為什麼分數都這麼低?

Harvey LAB 由法律 AI 公司 Harvey 設計,考的是律所真實工作流,覆蓋 24 個執業領域,評分標準是「全項通過」:一項任務涉及的所有必做環節都做對才算過,錯一步就零分。這種評分方式決定了分數天然偏低,所以看這項榜單要橫向比,不要拿絕對數字和考試分數類比。

跑分高就代表能直接用嗎?

不能這麼推。榜單考的是標準任務,你的業務有自己的一套材料格式、審查標準和交付習慣。更務實的做法是拿一份你真實做過的合同或案件材料去試,對照人工結論看差距,這比任何榜單都準。

它比Kimi K3、Claude Fable 5強在哪?

強在完整任務的完成率,以及完成同樣任務的成本。GLM-Legal 的 Harvey LAB 全通過率是 Kimi K3 的 1.5 倍左右、成本是它的二十五分之一。但如果你關心的是法律文獻的梳理深度,Claude Fable 5 的分數更高;如果你關心響應速度,Kimi K3 快五倍以上。

總結

本文所有評測分數、成本與耗時均來自 Vals AI 於 2026 年 10 月 12 日的運行結果,以及智譜官方發佈口徑。評測環境與榜單口徑可能隨版本更新變化,請以評測平台與官方頁面的最新資料為準。