從風險到責任：艾哈邁德·沙迪德談建構安全的AI輔助開發工作流程

近幾個月來，「vibe coding」（一種以人工智慧為先導的工作流程，開發者利用大型語言模型（LLM）和智能體工具來產生和優化軟體）逐漸受到關注。同時，多份產業報告指出，儘管人工智慧產生的程式碼速度快、使用方便，但往往會帶來嚴重的安全和供應鏈風險。

代碼 研究發現，LLM產生的程式碼中近一半存在嚴重漏洞，人工智慧模型經常產生不安全的實現，除非明確提示，否則會忽略諸如注入漏洞或弱身份驗證等問題。 學術研討 也指出，基於代理的系統中的模組化人工智慧「技能」可能存在漏洞，這些漏洞可能導致權限提升或暴露軟體供應鏈。

除了輸出不安全之外，還存在著一個常被忽略的系統性保密風險。目前的AI編碼助理在共享的雲端環境中處理敏感的內部程式碼和智慧財產權，而服務提供者或營運商可以在推理過程中存取這些資料。這引發了人們對大規模暴露專有生產代碼的擔憂，這對個人開發者和大型企業來說都是一個相當嚴重的問題。

在接受專訪時 MPost, 艾哈邁德·沙迪德的創始人 OLLM——這項保密人工智慧基礎設施計畫——解釋了為什麼傳統的人工智慧編碼工具對企業程式碼庫來說本質上存在風險，以及保密人工智慧（即使在模型處理期間也能保持資料加密）如何為現實世界軟體開發中的安全、負責任的編碼提供可行的途徑。

AI編碼助理如何處理敏感的企業代碼？為什麼會有風險？

目前大多數編碼工具只能提供一定程度的資料保護。企業代碼在傳送到服務提供者伺服器時通常會進行加密，一般透過 TLS 協定。但程式碼到達伺服器後，會在記憶體中解密，以便模型可以讀取和處理。此時，諸如專有邏輯、內部 API 和安全細節等敏感資訊就會外洩。 介紹 系統裡都是明文格式的。風險就在這裡。

程式碼在解密過程中可能會經過內部日誌、臨時記憶體或偵錯系統，這些系統客戶難以查看或審計。即使服務提供者保證不會保存任何數據，處理過程中仍然會發生洩露，而短暫的時間窗口足以造成盲點。對於企業而言，這會帶來潛在風險，使敏感程式碼在缺乏專有控制的情況下被濫用。

為什麼你認為主流人工智慧編碼工具從根本上來說對企業開發不安全？ 

大多數流行的AI編碼工具並非為企業風險模型而設計；它們只注重速度和便利性，因為它們主要基於包含已知漏洞、過時模式和不安全預設的公共程式碼庫進行訓練。因此，它們產生的程式碼通常存在以下問題： 漏洞 除非經過徹底檢查和糾正。

更重要的是，這些工具缺乏正式的治理結構，因此在早期階段無法真正強制執行內部安全標準，導致軟體的程式設計方式與後續的稽核或保護方式脫節。最終，團隊會習慣於處理他們幾乎無法理解的輸出結果，而安全漏洞卻在悄悄增加。這種缺乏透明度和技術複雜性的雙重影響，使得在安全至上的領域中運作的組織幾乎無法獲得標準的支援。

如果服務提供者不儲存或訓練客戶代碼，為什麼這還不夠？還需要哪些技術保證？

政策保障與技術保障截然不同。即使服務提供者保證不會保留用戶數據，用戶數據在計算過程中仍然會被解密和處理。調試過程中的臨時日誌仍然可能造成資料洩露，而政策無法阻止或證明其安全性。從風險角度來看，僅憑信任而沒有驗證是不夠的。

企業應該更關注那些可以在基礎設施層級建立的承諾。這包括機密運算環境，在這種環境中，程式碼不僅在傳輸時加密，而且在使用過程中也進行加密。硬體支援的加密環境就是一個很好的例子。 可信執行環境這創造了一個加密環境，即使是基礎設施營運商也無法存取敏感程式碼。該模型在此安全環境中處理數據，遠端認證允許企業以加密方式驗證這些安全措施是否生效。

此類機制應成為基本要求，因為它們將隱私變成可衡量的屬性，而不僅僅是一種承諾。

在本地或私有雲上運行人工智慧能否完全解決保密風險？

在私有雲上運行人工智慧有助於降低一些風險，但並不能徹底解決問題。除非採取額外的保護措施，否則資料在處理過程中仍然非常容易外洩。因此，內部存取、配置不當以及網路內部的移動仍然可能導致資料外洩。

模型行為是另一個需要關注的問題。儘管私有系統會記錄輸入或儲存資料用於測試，但如果沒有強有力的隔離措施，這些風險仍然存在。業務團隊仍需要加密處理。實施基於硬體的存取控制並明確資料使用限制對於安全保護資料至關重要。否則，這些措施只能規避風險，而無法真正解決問題。

對於程式設計工具而言，「機密人工智慧」究竟意味著什麼？

機密人工智慧是指在計算過程中管理資料安全的系統。它允許資料在隔離環境中（例如基於硬體的可信任執行環境）以明文形式進行處理，以便模型能夠對其進行操作。硬體隔離機制確保平台營運商、主機作業系統或任何外部方都無法存取這些數據，同時提供加密可驗證的隱私保護，且不影響人工智慧的功能。

這徹底改變了編碼平台的信任模型，因為它允許開發者在不將專有邏輯發送到共享或公共系統的情況下使用人工智慧。此外，由於訪問邊界由硬體而非策略構建，該過程也增強了問責機制的清晰度。一些技術更進一步，將加密計算與歷史追蹤相結合，從而可以在不洩漏輸入的情況下驗證輸出。

雖然這個術語聽起來很抽象，但其含義很簡單：人工智慧輔助不再需要企業為了提高效率而犧牲機密性。

目前使用保密人工智慧有哪些優缺點或限制？

如今最大的權衡在於速度。隔離在可信任執行環境中的人工智慧系統可能 體驗 與未受保護的結構相比，由於硬體級記憶體加密和認證驗證，速度會稍微延遲。好消息是，隨著時間的推移，新型硬體正在縮小這一差距。

此外，由於系統必須在更嚴格的環境下運行，因此需要更多的工作準備和妥善規劃。成本也必須考慮在內。機密人工智慧通常需要 專用硬體 例如，NVIDIA H100 和 H200 等專用晶片以及相關工具，這些都會增加初始成本。但必須權衡這些成本與程式碼洩漏或不遵守法規可能造成的潛在損失。

保密人工智慧目前還不是普遍的系統要求，因此團隊應該在隱私和問責制至關重要的場合使用它。許多此類限制將會得到解決。

您認為監管機構或相關標準是否會很快要求人工智慧工具在處理過程中加密所有資料？

歐盟人工智慧法案和美國國家標準與技術研究院人工智慧風險管理框架等監管框架已經發揮了重要作用。 注重 關於高影響力人工智慧系統的風險管理、資料保護和問責制，隨著這些框架的發展，那些有意暴露敏感資料的系統越來越難以在既定的治理預期下合理化。

標準制定組織也在為人工智慧在使用過程中如何處理資料製定更清晰的規則，從而奠定基礎。這些規則在不同地區的推廣速度可能有所不同。不過，企業應該預料到，處理純文字資料的系統將面臨更大的壓力。這樣一來，保密人工智慧就不再是預測未來，而是更與監管的發展方向保持一致。

對於開發人員和 IT 領導者而言，「負責任的氛圍編碼」目前是什麼樣的？

負責任的編碼理念意味著對每一行程式碼負責，從審查人工智慧建議到驗證安全隱患，以及考慮每個程式中的每一個極端情況。對於組織而言，這需要明確的… defi制定特定工具審批政策和敏感程式碼的安全路徑，同時確保團隊了解人工智慧輔助的優點和限制。

對於監管機構和行業領導者而言，這項任務意味著制定清晰的規則，使團隊能夠輕鬆識別哪些工具是允許使用的以及可以在哪些情況下使用。敏感資料只能進入符合隱私和合規要求的系統，同時也應培訓操作人員和用戶，使其了解人工智慧的強大功能及其限制。人工智慧如果使用得當，可以節省人力和時間，但如果使用不當，也會帶來代價高昂的風險。

展望未來，您認為人工智慧編碼助理在安全性方面會如何發展？

AI 編碼工具將從單純的建議發展到即時驗證程式碼編寫過程，同時遵守規則、授權庫和安全性約束。

安全性至關重要，它將更深入地融入這些工具的運作機制中，透過將加密執行和清晰的決策記錄設計為常規功能來實現。隨著時間的推移，這將使人工智慧助理從風險轉變為安全開發的輔助工具。最佳系統將是兼具速度和控制力的系統。而信任將取決於工具的實際運作情況，而非開發者的承諾。