首页 > 其他 > GLM-Legal评测成绩怎么样?Harvey LAB 19.2%是什么水平

GLM-Legal评测成绩怎么样?Harvey LAB 19.2%是什么水平

更新时间:2026-10-15 07:23:07 发布时间:3小时前 阅读:11次

GLM-Legal 最核心的一个数字是 Harvey LAB 全通过率 19.2%。这个分数在 Vals AI 的榜单上排 79 个参评模型的第 7 位,比它的基座 GLM-5.3-Flash 高了 12.5 个百分点,但放在绝对水平上看——还有约八成任务没能全项通过。这篇把三个榜单的分数、成本和耗时放在一起看,说清它强在哪、弱在哪。

GLM-Legal评测成绩是多少?

Vals AI 是一家专门做法律 AI 模型评测的平台,跑的是 Harvey 开发的 Legal Agent Benchmark(简称 Harvey LAB)。这个基准的特点是「全通过」评分:一项法律任务拆成若干个必做步骤,缺任何一步都算失败,不给部分分。24 个执业领域、接近真实律所的工作流,所以分数普遍偏低。

GLM-Legal 在这套基准上的成绩:

智谱自己公布的口径是 19.2%,和第三方跑出来的 19.17% 基本一致,这一点比较少见——很多厂商的发布会数字和独立复现会有明显落差,这次没有。

19.2%是什么水平?

先说结论:这个分数很高,但不是因为它接近满分,而是因为整套基准的分数普遍很低。

目前 Harvey LAB 上成绩最好的模型是 Muse Spark 1.2,全通过率 25.42%。也就是说,全球最强的法律智能体模型,仍然有大约四分之三的严格法律任务无法一次全项通过。GLM-Legal 的 19.2% 落到「四分之一到五分之一」这个区间,属于能真正完成一部分完整任务、而不是只会聊法律的水平。

更值得关注的是它相对基座的提升幅度:GLM-5.3-Flash 只有 6.67%,GLM-Legal 是 19.17%,涨了 12.5 个百分点,接近三倍。这说明法律语料中训加任务环境强化学习这套做法确实起作用了,不是换个名字重新发一遍。

和Kimi K3、Claude Fable 5、GPT-6 Astra比怎么样?

把同期主流模型放在一张表里,差异会更直观。下面数据全部来自 Vals AI 在 2026 年 10 月 12 日的运行结果。

模型Harvey LAB 全通过率LegalBench法律研究基准单次任务成本平均耗时
GLM-Legal(智谱)19.17%86.23%41.83%约 0.15 美元1 小时 12 分
GLM-5.3-Flash(智谱基座)6.67%83.93%45.19%约 0.57 美元52 分 17 秒
Kimi K3(月之暗面)12.92%86.21%46.15%约 3.83 美元13 分 58 秒
Claude Fable 5(Anthropic)11.25%88.56%49.52%约 19.23 美元26 分 53 秒
GPT-6 Astra(OpenAI)5.42%未列出39.42%约 26.16 美元24 分 49 秒

这张表里藏着三件事。

第一,任务完成能力上 GLM-Legal 领先。19.17% 比 Kimi K3 高 6.3 个百分点,比 Claude Fable 5 高近 8 个百分点,比 GPT-6 Astra 高出一倍以上。这是它被称作「HLAB 开源权重第一」的来源。

第二,通用法律知识上它没有优势。LegalBench 上 Claude Fable 5 是 88.56%,Kimi K3 是 86.21%,GLM-Legal 是 86.23%,三家挤在一起,差距在测评容差范围内。也就是说,如果你只是想让模型答法律知识题,换成它不会更好。

第三,成本差距大得夸张。跑同一套 Harvey LAB,GLM-Legal 单次约 0.15 美元,Claude Fable 5 要 19.23 美元,GPT-6 Astra 要 26.16 美元——贵一百倍以上,结果反而更差。Vals AI 特别指出 GLM-Legal 是这一榜单前十名里最便宜的。之所以便宜,是因为它的基座只有 3200 亿总参数、180 亿激活,属于轻量架构。

为什么法律研究榜单反而掉了?

法律研究基准(Legal Research Bench)上,GLM-Legal 是 41.83%,比基座 GLM-5.3-Flash 的 45.19% 低了 3.36 个百分点;和 Kimi K3 的 46.15%、Claude Fable 5 的 49.52% 比也有差距。

这个回落说明一件事:针对「做完一整件任务」的强化训练,可能削弱了通用检索与文献综述的能力。法律研究更看重广覆盖和长链条信息组织,而智能体任务的评分逻辑是「按简报交付成品」,两者的优化方向不完全一致。这不是数据出错,而是典型的垂类特化代价。如果你的用途是判例检索、法条综述,现阶段的通用旗舰模型可能更合适。

耗时是最容易被忽略的短板

GLM-Legal 跑完一次 Harvey LAB 平均要 1 小时 12 分,而榜单第一的 Muse Spark 1.2 只要 24 分钟,Kimi K3 甚至只要 14 分钟。

对能等结果的长任务来说,这只是慢一点;但对需要交互式推进的场景,三倍以上的等待时间会直接影响可用性。官方的说法是它把更多算力花在了推理深度上,换来更高的任务完成率——这是个取舍,不是纯缺陷,但你选型时得知道这个取舍的方向。

GLM-Legal可靠争议是怎么回事?

围绕它的质疑主要有三条,都能在公开信息里找到依据。

反过来看,它的分数经过了独立平台复现,成本和耗时的数据也是第三方实测,可核查的成分比一般发布会要扎实。

常见问题

Harvey LAB 是什么基准,为什么分数都这么低?

Harvey LAB 由法律 AI 公司 Harvey 设计,考的是律所真实工作流,覆盖 24 个执业领域,评分标准是「全项通过」:一项任务涉及的所有必做环节都做对才算过,错一步就零分。这种评分方式决定了分数天然偏低,所以看这项榜单要横向比,不要拿绝对数字和考试分数类比。

跑分高就代表能直接用吗?

不能这么推。榜单考的是标准任务,你的业务有自己的一套材料格式、审查标准和交付习惯。更务实的做法是拿一份你真实做过的合同或案件材料去试,对照人工结论看差距,这比任何榜单都准。

它比Kimi K3、Claude Fable 5强在哪?

强在完整任务的完成率,以及完成同样任务的成本。GLM-Legal 的 Harvey LAB 全通过率是 Kimi K3 的 1.5 倍左右、成本是它的二十五分之一。但如果你关心的是法律文献的梳理深度,Claude Fable 5 的分数更高;如果你关心响应速度,Kimi K3 快五倍以上。

总结

本文所有评测分数、成本与耗时均来自 Vals AI 于 2026 年 10 月 12 日的运行结果,以及智谱官方发布口径。评测环境与榜单口径可能随版本更新变化,请以评测平台与官方页面的最新数据为准。

标签:
相关文章