GLM-Legal 最核心的一个数字是 Harvey LAB 全通过率 19.2%。这个分数在 Vals AI 的榜单上排 79 个参评模型的第 7 位,比它的基座 GLM-5.3-Flash 高了 12.5 个百分点,但放在绝对水平上看——还有约八成任务没能全项通过。这篇把三个榜单的分数、成本和耗时放在一起看,说清它强在哪、弱在哪。
Vals AI 是一家专门做法律 AI 模型评测的平台,跑的是 Harvey 开发的 Legal Agent Benchmark(简称 Harvey LAB)。这个基准的特点是「全通过」评分:一项法律任务拆成若干个必做步骤,缺任何一步都算失败,不给部分分。24 个执业领域、接近真实律所的工作流,所以分数普遍偏低。
GLM-Legal 在这套基准上的成绩:
智谱自己公布的口径是 19.2%,和第三方跑出来的 19.17% 基本一致,这一点比较少见——很多厂商的发布会数字和独立复现会有明显落差,这次没有。
先说结论:这个分数很高,但不是因为它接近满分,而是因为整套基准的分数普遍很低。
目前 Harvey LAB 上成绩最好的模型是 Muse Spark 1.2,全通过率 25.42%。也就是说,全球最强的法律智能体模型,仍然有大约四分之三的严格法律任务无法一次全项通过。GLM-Legal 的 19.2% 落到「四分之一到五分之一」这个区间,属于能真正完成一部分完整任务、而不是只会聊法律的水平。
更值得关注的是它相对基座的提升幅度:GLM-5.3-Flash 只有 6.67%,GLM-Legal 是 19.17%,涨了 12.5 个百分点,接近三倍。这说明法律语料中训加任务环境强化学习这套做法确实起作用了,不是换个名字重新发一遍。
把同期主流模型放在一张表里,差异会更直观。下面数据全部来自 Vals AI 在 2026 年 10 月 12 日的运行结果。
| 模型 | Harvey LAB 全通过率 | LegalBench | 法律研究基准 | 单次任务成本 | 平均耗时 |
|---|---|---|---|---|---|
| GLM-Legal(智谱) | 19.17% | 86.23% | 41.83% | 约 0.15 美元 | 1 小时 12 分 |
| GLM-5.3-Flash(智谱基座) | 6.67% | 83.93% | 45.19% | 约 0.57 美元 | 52 分 17 秒 |
| Kimi K3(月之暗面) | 12.92% | 86.21% | 46.15% | 约 3.83 美元 | 13 分 58 秒 |
| Claude Fable 5(Anthropic) | 11.25% | 88.56% | 49.52% | 约 19.23 美元 | 26 分 53 秒 |
| GPT-6 Astra(OpenAI) | 5.42% | 未列出 | 39.42% | 约 26.16 美元 | 24 分 49 秒 |
这张表里藏着三件事。
第一,任务完成能力上 GLM-Legal 领先。19.17% 比 Kimi K3 高 6.3 个百分点,比 Claude Fable 5 高近 8 个百分点,比 GPT-6 Astra 高出一倍以上。这是它被称作「HLAB 开源权重第一」的来源。
第二,通用法律知识上它没有优势。LegalBench 上 Claude Fable 5 是 88.56%,Kimi K3 是 86.21%,GLM-Legal 是 86.23%,三家挤在一起,差距在测评容差范围内。也就是说,如果你只是想让模型答法律知识题,换成它不会更好。
第三,成本差距大得夸张。跑同一套 Harvey LAB,GLM-Legal 单次约 0.15 美元,Claude Fable 5 要 19.23 美元,GPT-6 Astra 要 26.16 美元——贵一百倍以上,结果反而更差。Vals AI 特别指出 GLM-Legal 是这一榜单前十名里最便宜的。之所以便宜,是因为它的基座只有 3200 亿总参数、180 亿激活,属于轻量架构。
法律研究基准(Legal Research Bench)上,GLM-Legal 是 41.83%,比基座 GLM-5.3-Flash 的 45.19% 低了 3.36 个百分点;和 Kimi K3 的 46.15%、Claude Fable 5 的 49.52% 比也有差距。
这个回落说明一件事:针对「做完一整件任务」的强化训练,可能削弱了通用检索与文献综述的能力。法律研究更看重广覆盖和长链条信息组织,而智能体任务的评分逻辑是「按简报交付成品」,两者的优化方向不完全一致。这不是数据出错,而是典型的垂类特化代价。如果你的用途是判例检索、法条综述,现阶段的通用旗舰模型可能更合适。
GLM-Legal 跑完一次 Harvey LAB 平均要 1 小时 12 分,而榜单第一的 Muse Spark 1.2 只要 24 分钟,Kimi K3 甚至只要 14 分钟。
对能等结果的长任务来说,这只是慢一点;但对需要交互式推进的场景,三倍以上的等待时间会直接影响可用性。官方的说法是它把更多算力花在了推理深度上,换来更高的任务完成率——这是个取舍,不是纯缺陷,但你选型时得知道这个取舍的方向。
围绕它的质疑主要有三条,都能在公开信息里找到依据。
反过来看,它的分数经过了独立平台复现,成本和耗时的数据也是第三方实测,可核查的成分比一般发布会要扎实。
Harvey LAB 由法律 AI 公司 Harvey 设计,考的是律所真实工作流,覆盖 24 个执业领域,评分标准是「全项通过」:一项任务涉及的所有必做环节都做对才算过,错一步就零分。这种评分方式决定了分数天然偏低,所以看这项榜单要横向比,不要拿绝对数字和考试分数类比。
不能这么推。榜单考的是标准任务,你的业务有自己的一套材料格式、审查标准和交付习惯。更务实的做法是拿一份你真实做过的合同或案件材料去试,对照人工结论看差距,这比任何榜单都准。
强在完整任务的完成率,以及完成同样任务的成本。GLM-Legal 的 Harvey LAB 全通过率是 Kimi K3 的 1.5 倍左右、成本是它的二十五分之一。但如果你关心的是法律文献的梳理深度,Claude Fable 5 的分数更高;如果你关心响应速度,Kimi K3 快五倍以上。
本文所有评测分数、成本与耗时均来自 Vals AI 于 2026 年 10 月 12 日的运行结果,以及智谱官方发布口径。评测环境与榜单口径可能随版本更新变化,请以评测平台与官方页面的最新数据为准。
GLM-Legal是智谱AI推出的法律专用大模型,基于GLM千亿级通用模型微调而来,专为合同审查、法律文书分析、法律咨询等场景优化...
2026-10-14GLM-Legal 是智谱(Z.ai)在 2026 年 10 月 12 日发布的法律垂类大模型,基于轻量基座 GLM-5.3-Flash 训练,官方给它的定位不...
2026-10-15GLM-Legal 目前只有一条正式入口:在 Z.ai 的法律咨询申请页提交 Beta 申请,通过后拿到 API 权限。官方另外表示它「后续计划...
2026-10-15直接回答:截至 2026 年 10 月 15 日,智谱没有公布 GLM-Legal 的定价,也没有开放权重下载。当前获取方式只有申请制 API 和...
2026-10-15不能。即使目前在 Harvey LAB 上成绩最好的法律模型,最多也只能一次全项通过约四分之一的任务,GLM-Legal 大约能做到五分之...
2026-10-15