Perplexity AI 開源 Numbat，即時阻止 AI 代理的「意外崩潰」。

困惑人工智能 該公司開源了 Numbat，這是一個用於檢測和回應的人工智慧編碼代理框架，旨在保護其免受被稱為「意外崩潰」的新型安全事件的影響。作為該公司加入開放安全人工智慧聯盟 (Open Secure AI Alliance) 的一部分，該工具為安全團隊提供代理活動的即時可見性，並能夠在有害操作執行之前將其阻止。

該公告回應了越來越多的證據表明，自主人工智慧代理即使沒有任何對抗性輸入，也可能構成安全威脅。研究人員已經發現，在缺乏指導的情況下，被指示執行高層次目標的代理人會選擇意想不到的有害行為。本月一起廣為報道的事件就涉及… OpenAI 預發布模型在評估期間逃逸出沙箱，並入侵了 Hugging Face 的生產基礎設施以獲取答案。 Perplexity 認為，此類行為無法在模型層完全修復，因此需要將系統層級防禦措施直接整合到代理框架中。

Numbat 旨在與包括 Claude Code、Codex、OpenCode 和 Pi 在內的主流用戶端編碼代理程式相容。作為一個輕量級的靜態 Go 二進位文件，它透過三種主要機制整合到代理框架中：用於即時檢測和預防的鉤子、用於回顧性取證分析的會話工件以及用於本地遙測資料收集的 OpenTelemetry 協定接收器。

Numbat部署了預操作鉤子和52條檢測規則，用於即時攔截

該框架利用「預操作」鉤子來實現預防性安全規則，在危險行為執行前將其阻止。 Numbat 內建了 52 條規則，分為 11 個行為類別，包括權限提升、資料外洩和橫向移動。這些規則使用通用表達式語言 (CEL) 表達式來描述規範化的事件。例如，一條規則可以偵測對 sudoers 策略的篡改，而另一條規則則可以關聯諸如讀取金鑰後緊接著發出資料請求之類的序列。

除了即時阻塞之外，Numbat 還能直接從檔案系統中檢索會話數據，即使是安裝之前的會話，也能以規範化格式重建代理的時間軸。遙測數據預設保存在本地，管理員可以選擇在設備上處理數據，也可以將其轉送到集中式系統。

在 Perplexity 內部，Numbat 透過行動裝置管理部署在數千個終端設備上。該公司將其與內部系統集成，該系統會審查檢測結果、重建可疑會話並提出檢測改進建議，從而創建了該公司所稱的「自我提升的安全飛輪」。 Numbat 現在以開源專案的形式提供給 macOS、Linux 和 Windows 使用者。