Piccolo：阿里开源的 Agent 决策模型用于工具选择和工作流判断

更新时间:2026-11-06 02:15:25 发布时间:4小时前阅读:9次

Piccolo 是阿里 AgentScope 团队 2026 年 10 月 30 日开源的决策模型，分 27B、9B、4B 三档，Apache-2.0。输入是当前状态、一个问题、几个候选项，输出是一个选择和每个选项的概率，不生成文字。27B 在 JevBench Public 上 92.21%，11 个模型里排第一。打开 decisionplayground.agentscope.io 能直接试，本地跑走 QwenPaw。

Piccolo是什么

官方叫它决策模型（decision model）。它不做对话，只做判断：给定状态、问题、候选项三段，从候选项的 token logits 里读出概率，返回程序能直接用的结构化结果。

要看懂它占的位置，先看 Harness。Harness 是模型外的一层运行系统，管会话历史、管工具调用、管代码在哪跑、管失败重试。它每走一步都要判断一次：调哪个工具、用哪个模型、哪些上下文留着、这个操作越不越权、任务算不算做完、失败了要不要重试。这些判断现在大多丢给通用大模型，输出一段文字再解析回来。

Piccolo 把这一步单独做成模型：不写文字，只给选择。

项目	通用对话模型	Piccolo
输入	一段提示词	状态、问题、候选项三段
输出	文字	一个选择加每个选项的概率
接口	/v1/chat/completions	/v1/systemone
单次开销	按输出 token 计	不产生 token，只读候选位 logits
用在哪	写内容、答问题	工作流里反复出现的判断点

Piccolo 官网首页 — 官网首页。右侧是 2048 的逐步回放，左边是每一步的候选动作和概率

三个尺寸全部开源，12 个 Hugging Face 仓库，含完整权重和三档 GGUF（BF16、Q8_0、Q4_K_M），Apache-2.0，没有调用费，成本在自己的机器上。

为什么单独做一个模型

两个原因。一是输出形态：返回的是每个候选项的概率，程序可以直接排序、卡阈值、按预算剪枝，不用先解析一段文字再猜格式。二是不按输出长度计费：判断开销只跟输入长度和候选数有关，不随回答写多长变化。

原生端点是 /v1/systemone，返回的是结构化决策加各选项概率。Arena 也不另起，沿用 JevArena，jev.* 协议和回放 ID 都保留。

Piccolo能做什么

Harness 里的六类判断

工具选择：从候选工具里判断调哪个。查交付日期选订单系统，不选邮件。
模型路由：几个模型都能做时，按上下文长度、结构化输出支持、预算挑一个。
上下文与记忆：留下食物过敏这类约束，过滤掉过期天气这类无关内容。
权限与信任：只获准保存草稿时，选保存草稿，不选发送或发布。
完成验收：证据不足就继续核验，不宣布完成。
失败恢复：遇到 503 这类临时故障，判断重试还是放弃。

Piccolo 模型路由决策案例 — Harness 的模型路由案例。四条规则在前，四个候选模型带成本和能力，Piccolo 选了 B，并给出理由

数据工作流里的六类判断

数据过滤：一批记录里删掉空记录，还是全部保留。
处理方案：先清洗还是先去重；摘要忠于来源还是压缩。
产物质量：这一版输出能不能继续用。
信息充分性：算税后利润发现缺税额，先请求补充，不硬算。
证据与隐私：对外分享前，含邮箱的记录要不要先脱敏。
工作流控制：校验用新版本还是沿用上一版。

游戏里的连续决策

官方放了 9 个回放：马里奥的移动与跳跃、2048 的合并方向、推箱子的箱子分配、黑白棋落子、俄罗斯方块摆位、《绝区零》战斗的 95 秒连打。每个回放能暂停、拖动、逐条看当时每个候选动作的概率。

Piccolo怎么用

在线试：打开 decisionplayground.agentscope.io，进 Playground 选游戏和初始局面，点“Model step”让它走一步，右侧显示这一步的候选动作和概率。
下模型：Hugging Face 上有 12 个仓库，命名形如 agentscope-ai/Piccolo-27B，有完整权重和 BF16、Q8_0、Q4_K_M 三档 GGUF。GGUF 是分片的，每个分片都要下到同一个目录。
本地跑：从源码装 QwenPaw 和它带的 llama.cpp 运行时，在 Models → QwenPaw Local → Decision models 里选一个 GGUF 点“Start”，再到 Default models 确认默认决策模型指向它。

QwenPaw 本地决策模型下载 — 第 3 步的界面。Decision models 里 4B-Q8_0 是 4.48 GB，9B-Q8_0 是 9.53 GB

开工具审批：会话的模型菜单里打开“Use decision model”，工具审批设置里选“Decision Model Mode”。之后每次工具调用由 Piccolo 先判断，人工审批保留作为回退。

QwenPaw 工具审批模式设置 — 第 4 步的界面。工具审批模式选 Decision Model Mode，下方写明只发工具名和参数名，不发对话与文件内容

开上下文压缩：打开“Context Compaction”，再单独打开“Decision Model Compaction”。上下文吃紧时，由 Piccolo 判断哪些工具结果属于低相关、可以压掉。
接自研工作流：调 /v1/systemone，按状态、问题、候选项三段发请求，返回选择和每个选项的概率。仓库 inference/ 有参考推理实现，examples/ 有最小请求示例。

第 4、5 步有个坑：模型 Start 起来不等于功能打开，两个开关要各自单独开。本地运行时同时只服务一个模型，聊天可以另接别的 provider。

Piccolo的评测成绩

JevBench 是第三方决策基准，231 道题，11 个模型跑同一套题。四个基准里，27B 都是第一。

基准	27B	9B	4B
JevBench Public v1.2 231 题通用决策	92.21%	89.61%	87.01%
Decision Index 文本 Public 0 到 100 判断	68.59	60.86	58.29
HarnessJevBench Hard v0.5 295 个运行控制用例	84.41%	70.68%	63.22%
DataJevBench v0.5 500 个数据用例	82.60%	69.20%	71.20%

Piccolo 基准成绩页 — 官方成绩页。左侧五项分数，右侧是 JevBench Public 的 11 模型对比条形

JevBench Public 上的 11 个模型排位：

排名	模型	准确率
1	Piccolo-27B	92.21%
2	Microsoft Decision-1	90.04%
3	vLLM-SR d3 (27B)	89.61%
4	Piccolo-9B	89.61%
5	Mercury Decide	89.18%
6	Perplexity Decider v1.2 (27B)	89.18%
7	Strands Decider 26B-A4B	88.74%
8	GPT-6 Luna Decisions	88.31%
9	Cloudflare Clef (27B)	87.45%
10	JEV 1.14	87.45%
11	Piccolo-4B	87.01%

准确率之外还有两列：Brier 和 ECE，越低越好。Piccolo-27B 的 ECE 是 0.0412，11 个模型里排第 5，比 vLLM-SR d3 的 0.0217、Microsoft Decision-1 的 0.0224、Perplexity Decider 的 0.0261 都差，也比自家 9B 的 0.0268 差。选得最准，但给的概率没那么可信。要拿概率做阈值，得先在自己的数据上标定一遍。

三个尺寸怎么选

27B 四项都是第一，权重也最大。9B 和 4B 的差别不在大小上：HarnessJevBench 里 9B 比 4B 高 7.46 个点，DataJevBench 里 4B 比 9B 高 2 个点。跑 Agent 运行控制取 9B，只做数据工作流里的判断取 4B，它的 Q8_0 权重是 4.48 GB。

Piccolo是怎么训出来的

训练被做成一个数据迭代循环：诊断，选数据和造数据，训练评测，更新下一轮配方。

数据量：从开源社区收 665 万条源记录，覆盖分类、检索、数理推理、偏好判断、工具使用。
统一格式：全部整理成状态、问题、候选项、目标分布。硬标签给确定选择，软标签保留评分分布，共用一套监督接口。
标签体系：基于 Data-Juicer 建 13 个标注维度、551 个预定义取值，含 334 个领域类别和 144 个能力标签。
改进信号：逐题 KL 损失。按语义标签切片汇总，偏差持续高的复核题目和答案、检索相近材料或定向合成；学透的同质样本降采样，保留代表性回放。
规模：10 轮以上、150 个以上探索实验，合计不到 8000 加速器小时（PPU 真武 810E），训练主线累计不到 40 万条样本。
效果：文本 Decision Index 上，9B 从 46.78 提到 60.86，4B 从 39.94 提到 58.29。

这条管线、两个自建基准、Arena 全部开源，能复现。

Piccolo的限制

不产生文字：普通 chat completion 不实现 /v1/systemone 这个契约。不能当 OpenAI 兼容接口直接替换，调用方要改。
概率校准不是第一：ECE 0.0412，前面还有四个模型。用概率卡阈值之前要先标定。
4B 在通用基准上垫底：JevBench 87.01%，11 个里第 11。换到 HarnessJevBench 是 63.22%，排在 GPT-6 Luna、Cloudflare Clef、Strands 前面；DataJevBench 71.20%，比自家 9B 的 69.20% 还高。小模型输在通用题，不输在窄任务。
基准只看决策：四个基准都测判断，不测写作、不测长文生成。拿它做别的事没有数据支撑。
回放速度不是推理速度：官方在仓库里专门写了一句，GIF 播放速度不等于推理延迟。
本地跑要自己出卡：4B-Q8_0 是 4.48 GB，9B-Q8_0 是 9.53 GB，27B 更大。QwenPaw 默认用 CPU，要 GPU 加速得接 Ollama 或 LM Studio。
管理功能绑在 QwenPaw：工具审批和上下文压缩这两个开关只在 QwenPaw 里，自己写工作流要照 examples/ 实现。