LingBot-Touch：螞蟻靈波開源的觸覺基礎模型 26 項真機任務最高提升 24.8 個百分點
更新時間:2026-11-12 23:48:40 發布時間:15小時前 閱讀:22次
LingBot-Touch 是螞蟻靈波科技 2026 年 11 月 9 日放出的觸覺基礎模型，把磁觸覺、視觸覺、壓阻式三類傳感器的讀數對映到同一套指尖座標與 token 地址，輸出四層特徵拼成的 latent，供不同靈巧手和動作模型當條件輸入。權重、推理程式碼和 30 組雙側樣例已在 Hugging Face、魔搭與 GitHub 放出，按 Apache 2.0 許可分發，Tiny 版 5.46M 參數、Small 版 21.76M 參數。
項目首頁首屏，標題下四個入口分別是技術報告、程式碼、Hugging Face 與魔搭
LingBot-Touch 是什麼
- 開發方螞蟻靈波科技英文名 Robbyant，官網頁腳寫 An embodied AI company under Ant Group，註冊主體為上海螞蟻靈波科技有限公司。
- 兩檔權重都叫 Haptic Transformer，Tiny 為 5.46M 參數、嵌入寬度 192，Small 為 21.76M 參數、嵌入寬度 384，層數都是 12，參數量含 tokenizer 與共享主幹、不含預訓練預測器。
- 下載包裡只有 config.json 與 encoder.pt 兩個檔案，對外放出的是凍結的目標編碼器與取特徵的介面。
- 論文同時接了 Diffusion Policy、π0.5、LingBot-VLA、T-Rex 四種動作模型，token 只作為額外條件輸入拼在視覺與本體位姿旁邊，策略其餘部分與訓練配方都不動。
- 項目首頁 26 項任務的演示片段都標註為真機實時推理、1 倍速播放，其中三段單獨點名是 LingBot-VLA 加 LingBot-Touch。
官方給出四項指標：4,983 小時觸覺記錄、13.3 億幀、Tiny 編碼器 5.46M 參數、26 項真機加 12 項模擬任務
LingBot-Touch 的 4,983 小時觸覺資料
- 總量 4,983 小時、464,431 段互動、約 13.3 億幀，分到 24 個操作類別，從開合、裝配到擦拭、傾倒、用工具。
- 壓阻式 2,197 小時、86,906 段，來自 Juqiao、Xspark、TACHIN 三種觸覺手套，Juqiao 每指 9 個觸點、100 Hz，Xspark 每指 16 個、60 Hz，TACHIN 拇指 124 個、其餘四指各 61 個、60 Hz。
- 磁觸覺 1,136 小時、294,871 段，來自 PaXini 手套，拇指 116 個觸點、其餘四指各 96 個，採樣 41.7 到 83.3 Hz。
- 視觸覺 1,650 小時、82,654 段，來自雙臂平台上 Sharpa Wave 靈巧手的遙操作，每指 240×240 形變圖，採樣 30 Hz。
- 人戴手套採集 3,333 小時，佔三分之二，遙操作 1,650 小時；24 個操作類別裡多數由不止一個來源採到，同一類互動因此有不同的傳感器版本。
- 標註停在 episode 級的操作類別，沒有力、接觸位置、接觸起止時刻，預訓練的監督全部來自 latent 預測目標。
按操作類別堆疊的三類資料量，壓阻 2,197 小時、磁 1,136 小時、視觸覺 1,650 小時
LingBot-Touch 的傳感器介面與預訓練目標
- 每個觸點的位置先按傳感器和手指各自的範本離線標定，p=α·p̃+b，α 取 1/r、b 取 −o/r，把觸覺點收進單位半徑的參考幾何，參數一次定好、跨時間窗複用。
- 三個模態各配一個兩層 MLP 的 tokenizer，把一個觸點連續兩幀的 6 個數值壓成一個 token，T 幀的片段產出 T/2 個 token。
- 共享的 Haptic Transformer 用 5D RoPE 把時間、手指、三維位置放在五個軸上分開編碼，不需要固定 token 數，也不需要每個傳感器一張位置表。
- 每根手指上被遮的觸點比例最終為 80%，前 300 步從 40% 線性升到 80% 再固定；被遮的觸點整段片段都不給看，上下文分支讀不到它在別的時間步的讀數。
- 目標分支的 tokenizer 與編碼器按線上分支做 EMA 更新，動量按 0.999 到 1.0 調度，梯度經 stop-gradient 截斷、不回傳目標分支。
- 佈局增強第一步改密度：磁觸覺按 24、32、48、64、76、96 個觸點重構視圖，視觸覺把形變圖聚成 32、96、200 個虛擬觸點，壓阻式保留原生佈局不下采樣。
- 第二步改位置：每個觸點的座標偏移不超過它與同指最近鄰距離的一半，偏移量按片段重採，同一觸點在上下文分支與目標分支看到同一套幾何。
- 預訓練共 200,000 次最佳化器更新，片段取 32 幀，一個 token 覆蓋 2 或 4 幀。
LingBot-Touch 在五項接觸探測任務上的誤差
- 做法是凍結編碼器，只訓一個 cross-attention 探針，探針一層、寬 192、3 個頭，MLP 隱寬 768，AdamW 學習率 1e-4，每平台各訓 100 輪。
- 五項分別是指尖合力恢復、接觸中心估計、接觸面積估計、未來四幀的力預測、觸覺找影片幀，第五項按 top-5 召回計分。
- FTP-1 是此前把異構傳感器按形態對映進同一 token 空間的觸覺策略模型，本身帶磁觸覺分支；這裡給 Sharpa Wave 訓一個編碼每指 96 個形變值的適配器，給 XHand1 訓一個編碼每指 120 個三通道讀數的適配器。
- 本模型這一側除探針之外沒有任何參數更新。
- 表中本模型統一用 Small 版、5K 小時預訓練，評估時不加任何傳感器適配器。
| 任務 |
Sharpa 本模型 |
Sharpa FTP-1 |
XHand1 本模型 |
XHand1 FTP-1 |
| 指尖合力 MAE（N） |
0.81 |
2.31 |
1.32 |
3.72 |
| 接觸中心誤差（mm） |
0.12 |
2.19 |
0.16 |
5.89 |
| 接觸面積 MAE（百分點） |
0.66 |
2.90 |
0.43 |
4.39 |
| 未來四幀力 MAE（N） |
1.04 |
1.67 |
1.45 |
2.00 |
| 觸覺找影片幀 Recall@5 |
72.6% |
16.5% |
47.1% |
6.0% |
- Sharpa Wave 的視觸覺傳感器在預訓練資料裡，XHand1 的磁觸覺型號不在；未見傳感器上五項裡有四項誤差更高，例外是接觸面積，XHand1 的 0.43 個百分點比 Sharpa 的 0.66 更低。
- 差距最大的是檢索：在沒見過的傳感器上，本模型 47.1%，帶適配器的 FTP-1 是 6.0%。
- 接觸中心的誤差在未見傳感器上是 FTP-1 在已見傳感器上的十分之一以下。
LingBot-Touch 接入四種動作模型後的真機成功率
- 26 項任務都挑在接觸決定成敗的環節上，包括 SD 卡推出、拔筆帽、插吸管、擰瓶蓋、扣噴槍、拉拉鍊、雞蛋搬運、麻將分揀、盒子交接、抽書。
- Sharpa Wave 上 20 項，XHand1 上 6 項，每項採 200 段示範，需要雙手的任務採 500 段。
- 每種策略跑三種配置：原模型、加原始觸覺信號、加凍結的 token，每項評 20 次試驗。
- 編碼器取 16 幀、30 Hz 的觸覺視窗，cross-attention 讀數壓成每手 40 個 token，再線性投到策略的條件維度。
- 參數量只增加 0.16%（T-Rex）、0.15%（π0.5）、0.13%（LingBot-VLA）。
- 表中編碼器是 Tiny 版，預訓練 4K 小時，26 項任務全部用這一套權重跑完。
| 靈巧手 |
策略 |
原模型 |
加原始觸覺 |
加 LingBot-Touch |
| Sharpa Wave |
Diffusion Policy |
22.31 |
30.06 |
35.51 |
| Sharpa Wave |
π0.5 |
47.56 |
56.70 |
68.58 |
| Sharpa Wave |
LingBot-VLA |
45.60 |
56.29 |
72.51 |
| Sharpa Wave |
T-Rex |
44.06 |
57.99 |
70.05 |
| XHand1 |
Diffusion Policy |
19.38 |
24.00 |
35.67 |
| XHand1 |
π0.5 |
49.71 |
48.00 |
74.17 |
| XHand1 |
LingBot-VLA |
57.21 |
57.21 |
75.04 |
| XHand1 |
T-Rex |
49.96 |
51.92 |
63.79 |
官網放出的真機任務片段：麻將分揀、SD 卡推出、扣噴槍、抽袋，標註為實時推理 1 倍速
- 104 個任務與策略組合裡，加 token 的版本在 89 個上最高，在 99 個上不低於原模型。
- 增益落在視覺判斷不了的那一步：拉鍊頭是否咬合，LingBot-VLA 從 11% 到 55%；噴槍扳機是否壓到位，從 42.5% 到 87.5%；SD 卡有沒有脫開，T-Rex 從 32% 到 92%。
LingBot-Touch 的原始觸覺信號收益最多隻有 token 的一半
- 四種策略加原始信號的平均提升是 7.0、6.6、8.2、11.2 個百分點，加 token 是 13.9、21.8、24.8、23.2。
- 原始信號在 104 個組合裡的 22 個上讓結果變差：LingBot-VLA 的麻將分揀從 28.8% 掉到 5.0%，雞蛋搬運從 65.0% 掉到 28.8%，π0.5 的拉拉鍊從 39.0% 掉到 15.0%。
- 200 段示範不足以讓策略從零學會讀一套稀疏高維信號，視覺模型能給出物體位置，讀不出壓得多重、抓握有沒有在滑。
- XHand1 上差別更清楚：原始信號給四種策略帶來 +4.6、−1.7、0.0、+2.0，token 是 +16.3、+24.5、+17.8、+13.8。
LingBot-Touch 在 12 項模擬任務上的成功率
- 12 項任務在 Sharpa Wave 上 8 項、XHand1 上 4 項，策略用 PPO 訓練三個隨機種子，模擬裡的觸覺按幾何穿透深度渲染成形變圖。
- 平均成功率 69.0%，對照是任務內訓練的 CNN 45.6%、原始信號 38.5%、二值接觸 30.3%、無觸覺 21.4%。
- 單任務上，轉盤 97.4%（其餘方法最高 82.9%），轉筆 97.1%（最高 64.2%），球平衡在 Sharpa Wave 上 67.7%（最高 32.4%）。
- 三個種子間的標準差平均 3.9 個百分點，最大 9.2；對照方法在轉筆上到 55 個點，說明有的種子學得會有的學不會。
左為 12 項模擬任務的平均訓練成功率，右為逐任務對比，LingBot-Touch 在 12 項上都最高
LingBot-Touch 的資料與參數規模曲線
- Small 從 1K 加到 5K 小時，每檔在兩隻手上都不降；Sharpa Wave 的力誤差從 1.68 N 降到 0.81 N，檢索從 42.5% 升到 72.6%。
- Tiny 跟到約 4K 小時後走平，5K 時檢索在兩隻手上都回落，此時卡住的是模型容量而不是資料量。
- 多源互補：固定 331 小時視觸覺與 228 小時磁觸覺，再加 441 小時壓阻，8 個組合裡 7 個變好；磁側力誤差從 4.34 N 降到 2.52 N、未來力誤差從 3.77 N 降到 1.84 N，視觸覺側唯一退步是接觸中心從 0.41 mm 漲到 0.68 mm。
- 同樣 1,000 小時預算下，單源模型在自己傳感器上 8 個組合裡贏 7 個，接觸中心誤差 0.34 對 0.68 mm（視觸覺）、0.33 對 1.12 mm（磁），未來力預測輸 1.49 對 1.67 N。
- 換成信號重建目標就掉：1K 小時時接觸中心誤差 0.90 mm，VAE 是 3.03 mm、MAE 是 3.07 mm；檢索 32.1% 對 4.4% 與 5.6%。
LingBot-Touch 在本地跑一次推理的步驟
- 從 Hugging Face 或魔搭下載 lingbot-touch-tiny 的 config.json 與 encoder.pt，放進 checkpoints/lingbot-touch-tiny/；模型檔案不在程式碼倉庫裡，下載要帳號對該倉庫有權限。
- 建 Python 3.12.13 環境，裝 PyTorch 2.11.0 與倉庫本體。
- 按傳感器選分支：Sharpa Wave 走視觸覺，XHand 走磁觸覺。
- 跑 infer.py，指定輸入格式、模型目錄、輸入檔案與輸出路徑。
- 讀輸出裡的 latent，形狀為 [B,N,C]，同時取 time_id、finger_id、pos_xyz 三個地址。
- 下游讀數用 cross-attention 查詢，不要用逐 token 線性投影或均值池化。
conda create -n lingbot-touch python=3.12.13 pip=26.0.1 -y
conda activate lingbot-touch
python -m pip install "torch==2.11.0" --index-url https://download.pytorch.org/whl/cu130
python -m pip install .
python -m pip check
python infer.py --input-format sharpa \
--bundle checkpoints/lingbot-touch-tiny \
--input sample_data/sharpa/001_left.pt \
--output outputs/sharpa/001_left_features.pt \
--device cpu
樣例裡 Sharpa 的輸入是 [1,16,5,200] 的標量讀數，XHand 是 [1,16,5,120,3] 的三軸讀數，XHand 還要走一次 120 到 96 的點選擇。Sharpa 與 XHand 各帶 30 組雙側輸入，兩個平台合計 120 個單手檔案，每個 16 幀。輸出目錄裡已有的特徵檔案不會被覆蓋，重跑要換目錄；機器有 NVIDIA 卡就把 –device cpu 換成 –device cuda:0。
LingBot-Touch 沒有覆蓋的傳感器與手型
- 真機與模擬只用 Sharpa Wave 與 XHand1 兩隻手，論文把更多手型列為後續要補的實驗。
- 電容式傳感器沒有進預訓練，原因是當時拿到的電容資料沒達到品質要求。
- 座標與佈局只覆蓋指尖，手掌與指節其他位置的接觸覆蓋偏少，論文把擴展到整隻手列為下一步。
LingBot-Touch 的下載地址與許可
- 項目首頁 https://technology.robbyant.com/lingbot-touch
- 程式碼與資料介面 https://github.com/Robbyant/lingbot-touch
- Hugging Face 合集 https://huggingface.co/collections/robbyant/lingbot-touch
- 魔搭合集 https://www.modelscope.cn/collections/Robbyant/LingBot-Touch
- 論文 https://arxiv.org/abs/2611.12806
- 許可為 Apache 2.0，第三方組件保留各自許可。
