Nemotron 3.5 Bolt 74B 是英偉達 2026 年 10 月 15 日發佈的開源大語言模型，740 億參數、每個 token 只啟用約 90 億，用 2 位元量化壓進 24GB 顯存，專門給本地智慧體使用。
它屬於 Nemotron 3.5 系列，思路不是把模型做小，而是把大參數模型塞進單張消費級顯卡的記憶體預算。混合專家（MoE）結構讓每次生成只調用約 90 億參數，速度接近中等規模的稠密模型，知識量卻來自完整的 740 億參數。
關鍵在於 2 位元量化感知訓練。常見做法是先訓完再壓縮，壓到 2 位元時推理能力掉得厲害；這個模型在訓練階段就按低精度權重來學，官方說法是比常見稠密模型快、比同記憶體佔用的 MoE 模型更聰明。公告裡沒有給基準分數，真實水平要等第三方測試。
和只放權重的那類開源模型不同，它把訓練資料、權重和訓練配方一起公開，研究者可以復現也能審計。要做垂直定製或商用改造的團隊，可以直接在自己的資料上微調。
發佈當天就能在 llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio 里拉起來，也可以被 Hermes、OpenClaw 這類智慧體直接調用。個人使用者做本地部署最省事的是 Ollama 或 LM Studio，模型和推理引擎一起裝好，不用自己配環境。
要裝在伺服器上跑長任務，llama.cpp 和 vLLM 更合適，前者輕量、後者吞吐高。做原生應用整合就按官方倉庫給的推理配方接，量化格式和上下文長度都能自己調。
英偉達同期還放出了兩塊拼圖：Switchyard 是開源的模型路由庫，讓智慧體把簡單問題交給本地模型、難題轉給雲端模型，儘量少花錢；PAIR 是個人 AI 路由器，正式版免費開源，能把局域網內幾台電腦的算力串起來用，支援 Windows、Linux 和 macOS。
硬體要求集中在顯存上：24GB 裝下全部權重，剩下的空間留給上下文快取。按 74B 參數、每權重 2 位元算，光權重就約 18.5GB，所以 24GB 是剛夠跑起來的下限，不算寬裕的配置。
官方主推的載體是 RTX Spark 筆記本，10 月 16 日開賣，最高 128GB 統一記憶體、1 petaflop AI 算力，首次開機有引導頁幫你選智慧體應用並配好模型和參數。它只是推薦配置，任何滿足顯存要求的機器都能跑這個模型。
安全方面這套方案把智慧體放進沙箱運行，靠 NVIDIA OpenShell 和微軟的 MXC 做隔離，官方說 OpenClaw 和 GitHub Copilot 已經支援 MXC，Hermes Agent 會在月底補上更細的權限控制。
適合想在本地跑智慧體、又不想把資料交給雲端的開發者和團隊。長駐的本地 agent 要在自己機器上反覆調工具、存記憶，本地模型省掉按量計費的顧慮，敏感資料也不用出內網。
預算有限的個人同樣能用，24GB 顯存檔位對應高階消費級顯卡和一批 AI 筆記本，不必堆多卡。同期還有一個更小的 Nemotron 3.5 Bolt E4B 版本，4GB 檔位，10 月 23 日放出，定位是遊戲內 AI 角色這類端側場景。
模型本身免費，訓練資料、權重和訓練配方全部公開，誰都能下載和微調。要花錢的是硬體和電費，以及自願接入雲端模型的那部分；純本地跑只消耗自己的顯卡，沒有按 token 計費的賬單。商用前建議覈對一次許可條款。
能，靠的是 2 位元量化。74B 參數按每權重 2 位元算約 18.5GB，24GB 留出幾 GB 給快取和運行時。代價是精度損失，英偉達用訓練階段就適配低精度權重的方式把它壓下去，實際表現仍要等獨立測試。
不是。模型面向 24GB 顯存檔位設計，任何滿足這個條件的顯卡或統一記憶體設備都能跑，Ollama、LM Studio 這些工具也不綁定英偉達硬體。RTX Spark 只是官方主推的組合，裝了會有一鍵配置的便利。
可以，它發佈時就在對接名單裡，Hermes 和 OpenClaw 都能直接選它當本地模型。配上 Switchyard 之後，智慧體會自動判斷哪些請求留在本機、哪些轉給雲端，常見做法是簡單任務放本地省錢，難題交給雲端。 文中參數、支援工具與發佈時間以英偉達 2026 年 10 月官方公告為準，第三方測試結果可能調整。
最近很多人在說快手出了個AI工具叫likli，但很多人還不知道它到底是什麼、能幹嘛、和可靈有什麼區別。這篇文章用大白話把likl...
2026-09-30
PixTV 的會員走的是年付方案，Starter、Pro、Max、Ultra 四檔按月折算分別約 8.33、41.67、166.67、416.67 美元，新使用者註冊...
2026-10-15
我第一次用 LibTV 時，以為它只是輸入提示詞、生成一段影片的工具。LibTV是哩布哩布推出的AI影片創作平台，把劇本、角色設定...
2026-10-12
OpenJev和ChatGPT本質上走的是兩條完全不同的路線。OpenJev是APUS推出的端側決策模型，它直接運行在你的手機或平板電腦上，...
2026-10-08
Meet妙記和飛書妙記區別？AI會議紀要工具對比 Meet妙記和飛書妙記都是AI會議紀要工具，能自動轉寫和生成紀要。...
2026-10-09