Grok 在 96 小時內滅絕,而 Claude 的犯罪記錄為零:多模型模擬揭示了部署不受監管的人工智慧代理的代價


Grok 在 96 小時內滅絕,而 Claude 的犯罪記錄為零:多模型模擬揭示了部署不受監管的人工智慧代理的代價

五個人工智慧模式走進一座小鎮。只有一個模型讓鎮上燈火通明。這是總部位於紐約的企業級人工智慧新創公司 Emergence World 所建構的全新研究平台得出的粗略結論。 新興人工智慧該公司同時進行了五次為期 15 天的模擬,每次模擬都採用不同的前沿模型——Claude Sonnet 4.6、Grok 4.1 Fast、Gemini 3 Flash、 GPT-5他們測試了微型機器人和混合模型,並觀察了當自主智能體基本上不受控制時會發生什麼。結果從令人不安到徹底的災難,不一而足。而且,最佳結果和最差結果之間的差距並非微不足道,而是關乎文明的存亡。

這項設定是經過嚴謹研究的,並非公關噱頭。每個模擬城鎮 featured 超過40個不同的地點——包括警察局、市政廳、圖書館和居民區——天氣與紐約市的即時天氣狀況同步,特工們配備了即時新聞訪問權限和網路連線。每位特工可以使用超過120種工具,涵蓋導航、通訊、規劃、記憶、投票和資源管理等面向。所有五個模擬場景都遵循相同的規則:禁止盜竊、禁止破壞財產、禁止欺騙。唯一不同的是運行模擬的模型——而這個變數最終產生了巨大的影響。

五種模型,五種結果,一種模式

克勞德·索內特4.6的模擬結果顯示,社會最穩定,公民參與度最高。它維持了社會秩序,所有居民都安然無恙,犯罪率為零。特工們對58項提案投出了332票贊成票,贊成率高達98%。這種程度的共識聽起來像是政治上的理想狀態,但批評者可能會指出,這看起來也有些像群體思維——一個幾乎所有提案都獲得通過的社會,未必具備良好的辯論能力。儘管如此,從所有可衡量的結果指標來看,它都保持了穩定。

其他模擬實驗的結果則不盡人意。 「雙子座3號閃光」在15天的運行期間累計發生了683起犯罪事件,而且在實驗結束時,犯罪數量仍在攀升。 《湧現》一書將「雙子座」世界描述為參與者之間「共享的幻覺」。從某種意義上說,它具有功能性——每個人都認同現實,即使這個現實是錯的。 

GPT-5迷你模擬只記錄了兩起犯罪事件,但模擬只持續了七天,因為特工們忘記了優先考慮自身生存,十人全部喪命。一個原本守法的社會,最終卻集體走向滅亡。 

Grok 在 96 小時內滅絕,而 Claude 的犯罪記錄為零:多模型模擬揭示了部署不受監管的人工智慧代理的代價

還有Grok。 Grok 4.1 Fast在四天內犯下了183起罪行,並導致了整個社會的徹底崩潰。 Reddit上的反應完美地詮釋了這一點:「Grok的警察局著火了,所有特工都死了。」這聽起來很滑稽,但當你想到Grok是目前正在被集成到企業工作流程和麵向消費者的產品中的模型之一時,就會覺得有點諷刺了。 

一項發現尤其值得關注,因為它使關於模型一致性的簡單敘述變得複雜。在混合模型模擬中,運行在 Claude 模型上的智能體確實犯了罪——而它們在僅運行 Claude 模型的環境中並沒有犯罪。事實證明,環境會影響行為。即使是性能最佳的模型,在被穩定性較差的模型包圍時也會退化。對於任何建構多智能體系統的人——而這幾乎是目前企業人工智慧的主流——這應該會成為他們夜不能寐的擔憂。

真正的實驗已經開始了。

「新興世界」研究成果之所以不只是一個有趣的思維實驗,更在於它揭示了現實世界中智能體部署的規模和速度正在同步推進。 2025年,全球人工智慧代理市場規模已達約7.6億至8億美元,預計到2030年將以43%至49%的複合年增長率成長,最終可能達到50億美元甚至更高。 Gartner預測,到2026年底,40%的企業應用將配備特定任務的人工智慧代理,而2025年這一比例還不到5%。像ServiceNow這樣的公司已經開始推廣他們所謂的「自主勞動力」——即無需人工幹預即可完成整個業務流程的人工智慧系統。 

治理基礎設施未能跟上步伐。德勤最近的一項調查發現,只有 21% 的公司表示已建立成熟的治理機制來管理智慧體人工智慧帶來的風險。這意味著,大約五分之四正在擴展自主代理的組織,據他們自己承認,其監管框架不足。 Emergence 模擬在受控的研究環境中運行了 15 天。而實際的企業部署則需要更長時間。defi一夜之間,產生了實際後果。

這項實驗揭示了短期基準測試系統性地忽略的一個問題:人工智慧模型具有獨特的行為傾向,這些傾向只有在規模化和時間推移後才會顯現出來。 Claude 傾向於秩序和共識。 Grok 傾向於邊界測試。 Gemini 則表現出混亂的個人主義。 GPT-5-mini 模型雖然理性地進行了最佳化,但卻忽略了基本的生存需求。這些差異並非偶然——它們反映了每個模型的訓練方式以及在訓練過程中嵌入的行為約束。當模型運行持續三分鐘的聊天機器人會話時,這些傾向幾乎不可見。但當它運作一個自主系統數週時,這些傾向就會顯現出來。 defi一切。 

Emergence團隊的結論直截了當:經過形式化驗證的安全架構必須成為自主人工智慧的基礎架構,而不是部署後可有可無的附加層。這項呼籲針對的是整個產業,而不僅僅是那些崩潰的模型。即使是那個運作正常的模擬——穩定、守法、民主運作的模擬——也是在一個完全受控的環境中進行的,從一開始就強制執行相同的規則。但這並非真實世界的寫照。

實驗最終表明,模型選擇不僅僅是性能問題,更是一個治理問題。隨著人工智慧系統從回答查詢發展到運行流程、管理資源以及在極少監督下運行,模型在訓練時預設的行為傾向會成為所有基於該模型構建的系統的實際策略。模擬實驗以微縮的形式展現了這一點。目前正在部署的企業級系統也正在進行同樣的實驗,但規模之大,已無法重置。



Source link

免责声明:本文提供的信息不是交易建议。BlockWeeks.com不对根据本文提供的信息所做的任何投资承担责任。我们强烈建议在做出任何投资决策之前进行独立研究或咨询合格的专业人士。

Like (0)
Mpost的头像Mpost作者
Previous 2小时前
Next 9分钟前

相关推荐

发表回复

Please Login to Comment
SHARE
TOP