Piccolo：阿里開源的 Agent 決策模型用於工具選擇和工作流判斷

更新時間:2026-11-06 03:13:04 發布時間:5小時前閱讀:12次

Piccolo 是阿里 AgentScope 團隊 2026 年 10 月 30 日開源的決策模型，分 27B、9B、4B 三檔，Apache-2.0。輸入是當前狀態、一個問題、幾個候選項，輸出是一個選擇和每個選項的機率，不生成文字。27B 在 JevBench Public 上 92.21%，11 個模型裡排第一。打開 decisionplayground.agentscope.io 能直接試，本地跑走 QwenPaw。

Piccolo是什麼

官方叫它決策模型（decision model）。它不做對話，只做判斷：給定狀態、問題、候選項三段，從候選項的 token logits 裡讀出機率，返回程式能直接用的結構化結果。

要看懂它佔的位置，先看 Harness。Harness 是模型外的一層運行系統，管會話歷史、管工具調用、管程式碼在哪跑、管失敗重試。它每走一步都要判斷一次：調哪個工具、用哪個模型、哪些上下文留著、這個操作越不越權、任務算不算做完、失敗了要不要重試。這些判斷現在大多丟給通用大模型，輸出一段文字再解析回來。

Piccolo 把這一步單獨做成模型：不寫文字，只給選擇。

項目	通用對話模型	Piccolo
輸入	一段提示詞	狀態、問題、候選項三段
輸出	文字	一個選擇加每個選項的機率
介面	/v1/chat/completions	/v1/systemone
單次開銷	按輸出 token 計	不產生 token，只讀候選位 logits
用在哪	寫內容、答問題	工作流裡反覆出現的判斷點

Piccolo 官網首頁 — 官網首頁。右側是 2048 的逐步回放，左邊是每一步的候選動作和機率

三個尺寸全部開源，12 個 Hugging Face 倉庫，含完整權重和三檔 GGUF（BF16、Q8_0、Q4_K_M），Apache-2.0，沒有調用費，成本在自己的機器上。

為什麼單獨做一個模型

兩個原因。一是輸出形態：返回的是每個候選項的機率，程式可以直接排序、卡閾值、按預算剪枝，不用先解析一段文字再猜格式。二是不按輸出長度計費：判斷開銷只跟輸入長度和候選數有關，不隨回答寫多長變化。

原生端點是 /v1/systemone，返回的是結構化決策加各選項機率。Arena 也不另起，沿用 JevArena，jev.* 協議和回放 ID 都保留。

Piccolo能做什麼

Harness 裡的六類判斷

工具選擇：從候選工具裡判斷調哪個。查交付日期選訂單系統，不選郵件。
模型路由：幾個模型都能做時，按上下文長度、結構化輸出支援、預算挑一個。
上下文與記憶：留下食物過敏這類約束，過濾掉過期天氣這類無關內容。
權限與信任：只獲准儲存草稿時，選儲存草稿，不選發送或發佈。
完成驗收：證據不足就繼續覈驗，不宣佈完成。
失敗恢復：遇到 503 這類臨時故障，判斷重試還是放棄。

Piccolo 模型路由決策案例 — Harness 的模型路由案例。四條規則在前，四個候選模型帶成本和能力，Piccolo 選了 B，並給出理由

資料工作流裡的六類判斷

資料過濾：一批記錄裡刪掉空記錄，還是全部保留。
處理方案：先清洗還是先去重；摘要忠於來源還是壓縮。
產物品質：這一版輸出能不能繼續用。
資訊充分性：算稅後利潤髮現缺稅額，先請求補充，不硬算。
證據與隱私：對外分享前，含郵箱的記錄要不要先脫敏。
工作流控制：校驗用新版本還是沿用上一版。

遊戲裡的連續決策

官方放了 9 個回放：馬里奧的移動與跳躍、2048 的合併方向、推箱子的箱子分配、黑白棋落子、俄羅斯方塊擺位、《絕區零》戰斗的 95 秒連打。每個回放能暫停、拖曳、逐條看當時每個候選動作的機率。

Piccolo怎麼用

線上試：打開 decisionplayground.agentscope.io，進 Playground 選遊戲和初始局面，點“Model step”讓它走一步，右側顯示這一步的候選動作和機率。
下模型：Hugging Face 上有 12 個倉庫，命名形如 agentscope-ai/Piccolo-27B，有完整權重和 BF16、Q8_0、Q4_K_M 三檔 GGUF。GGUF 是分片的，每個分片都要下到同一個目錄。
本地跑：從原始碼裝 QwenPaw 和它帶的 llama.cpp 運行時，在 Models → QwenPaw Local → Decision models 裡選一個 GGUF 點“Start”，再到 Default models 確認預設決策模型指向它。

QwenPaw 本地決策模型下載 — 第 3 步的介面。Decision models 裡 4B-Q8_0 是 4.48 GB，9B-Q8_0 是 9.53 GB

開工具審批：會話的模型菜單裡打開“Use decision model”，工具審批設定裡選“Decision Model Mode”。之後每次工具調用由 Piccolo 先判斷，人工審批保留作為回退。

QwenPaw 工具審批模式設定 — 第 4 步的介面。工具審批模式選 Decision Model Mode，下方寫明只發工具名和參數名，不發對話與檔案內容

開上下文壓縮：打開“Context Compaction”，再單獨打開“Decision Model Compaction”。上下文吃緊時，由 Piccolo 判斷哪些工具結果屬於低相關、可以壓掉。
接自研工作流：調 /v1/systemone，按狀態、問題、候選項三段發請求，返回選擇和每個選項的機率。倉庫 inference/ 有參考推理實現，examples/ 有最小請求示例。

第 4、5 步有個坑：模型 Start 起來不等於功能打開，兩個開關要各自單獨開。本地運行時同時只服務一個模型，聊天可以另接別的 provider。

Piccolo的評測成績

JevBench 是第三方決策基準，231 道題，11 個模型跑同一套題。四個基準裡，27B 都是第一。

基準	27B	9B	4B
JevBench Public v1.2 231 題通用決策	92.21%	89.61%	87.01%
Decision Index 文字 Public 0 到 100 判斷	68.59	60.86	58.29
HarnessJevBench Hard v0.5 295 個運行控制用例	84.41%	70.68%	63.22%
DataJevBench v0.5 500 個資料用例	82.60%	69.20%	71.20%

Piccolo 基準成績頁 — 官方成績頁。左側五項分數，右側是 JevBench Public 的 11 模型對比條形

JevBench Public 上的 11 個模型排位：

排名	模型	準確率
1	Piccolo-27B	92.21%
2	Microsoft Decision-1	90.04%
3	vLLM-SR d3 (27B)	89.61%
4	Piccolo-9B	89.61%
5	Mercury Decide	89.18%
6	Perplexity Decider v1.2 (27B)	89.18%
7	Strands Decider 26B-A4B	88.74%
8	GPT-6 Luna Decisions	88.31%
9	Cloudflare Clef (27B)	87.45%
10	JEV 1.14	87.45%
11	Piccolo-4B	87.01%

準確率之外還有兩列：Brier 和 ECE，越低越好。Piccolo-27B 的 ECE 是 0.0412，11 個模型裡排第 5，比 vLLM-SR d3 的 0.0217、Microsoft Decision-1 的 0.0224、Perplexity Decider 的 0.0261 都差，也比自家 9B 的 0.0268 差。選得最準，但給的機率沒那麼可信。要拿機率做閾值，得先在自己的資料上標定一遍。

三個尺寸怎麼選

27B 四項都是第一，權重也最大。9B 和 4B 的差別不在大小上：HarnessJevBench 裡 9B 比 4B 高 7.46 個點，DataJevBench 裡 4B 比 9B 高 2 個點。跑 Agent 運行控製取 9B，只做資料工作流裡的判斷取 4B，它的 Q8_0 權重是 4.48 GB。

Piccolo是怎麼訓出來的

訓練被做成一個資料迭代循環：診斷，選資料和造資料，訓練評測，更新下一輪配方。

資料量：從開源社區收 665 萬條源記錄，覆蓋分類、檢索、數理推理、偏好判斷、工具使用。
統一格式：全部整理成狀態、問題、候選項、目標分佈。硬標籤給確定選擇，軟標籤保留評分分佈，共用一套監督介面。
標籤體系：基於 Data-Juicer 建 13 個標註維度、551 個預定義取值，含 334 個領域類別和 144 個能力標籤。
改進信號：逐題 KL 損失。按語義標籤切片彙總，偏差持續高的複覈題目和答案、檢索相近材料或定向合成；學透的同質樣本降採樣，保留代表性回放。
規模：10 輪以上、150 個以上探索實驗，合計不到 8000 加速器小時（PPU 真武 810E），訓練主線累計不到 40 萬條樣本。
效果：文字 Decision Index 上，9B 從 46.78 提到 60.86，4B 從 39.94 提到 58.29。

這條管線、兩個自建基準、Arena 全部開源，能復現。

Piccolo的限制

不產生文字：普通 chat completion 不實現 /v1/systemone 這個契約。不能當 OpenAI 相容介面直接替換，調用方要改。
機率校準不是第一：ECE 0.0412，前面還有四個模型。用機率卡閾值之前要先標定。
4B 在通用基準上墊底：JevBench 87.01%，11 個裡第 11。換到 HarnessJevBench 是 63.22%，排在 GPT-6 Luna、Cloudflare Clef、Strands 前面；DataJevBench 71.20%，比自家 9B 的 69.20% 還高。小模型輸在通用題，不輸在窄任務。
基準只看決策：四個基準都測判斷，不測寫作、不測長文生成。拿它做別的事沒有資料支撐。
回放速度不是推理速度：官方在倉庫裡專門寫了一句，GIF 播放速度不等於推理延遲。
本地跑要自己出卡：4B-Q8_0 是 4.48 GB，9B-Q8_0 是 9.53 GB，27B 更大。QwenPaw 預設用 CPU，要 GPU 加速得接 Ollama 或 LM Studio。
管理功能綁在 QwenPaw：工具審批和上下文壓縮這兩個開關只在 QwenPaw 裡，自己寫工作流要照 examples/ 實現。