Adaption 的 AutoScientist 透過閉環訓練自動進行模型微調，其效能優於人工設計的配置。 

適應性由前Cohere公司研究副總裁Sara Hooker創立的人工智慧新創公司推出了名為AutoScientist的新系統。該系統旨在透過聯合優化訓練資料和學習配置，實現人工智慧模型針對特定任務的自動化客製化流程。該系統被視為人工智慧研發工作流程自動化的重要一步，旨在減少模型微調和實驗中通常所需的人工工作量。

AutoScientist 被描述為一個端到端的框架，它能夠同時優化資料集和訓練方案，並透過一個閉環迭代運行，持續調整資料選擇和模型訓練參數。該過程旨在持續進行，直到性能穩定在某個特定值附近。 defined 目標，有效地讓系統在無需不斷人工幹預的情況下改進模型學習的內容和學習方式。

據該公司稱，該工具旨在縮短從初始概念到部署客製化模型所需的時間，預計將開發週期從數週縮短至數小時。它也被宣傳為一種機制，能夠讓機器學習專家以外的用戶也能參與模型定制，使不具備深厚技術專長的用戶不僅能夠影響提示訊息，還能影響已訓練系統的底層行為。此方法尤其適用於那些希望針對特定領域語言、結​​構化輸出或延遲和成本等效率限制來微調模型，同時更有效地利用人工智慧系統中專有資料集的組織。

公司內部評估結果顯示，AutoScientist 在 5,000 到 100,000 個樣本的不同資料集規模下，以及在多種可用於微調的模型架構上，均展現出優於基準模型的效能。報告結果表明，無論應用領域如何，效能提升都十分顯著，這些性能是透過針對特定垂直應用客製化的內部評估方法測得的。

評估框架中提供的進一步比較表明，AutoScientist 的平均性能優於人類研究人員（包括經驗豐富的 AI 工程師）設計的配置。在這些測試中，人類專家根據他們對模型架構、資料集特徵和領域需求的了解來選擇訓練設置，而 AutoScientist 則擁有相同的輸入，並能夠利用歷史運行資料迭代來優化自身的配置。在這些條件下，使用此自動化系統後，整體結果據稱從 48% 提高到 64%，所有實驗的平均效能提升約為 35%。

AutoScientist展現跨領域穩定性，同時致力於普及前沿模型微調 

針對多個應用領域的額外基準測試表明，該系統對特定領域並不十分敏感，在八個不同的垂直領域都取得了效能提升。該公司表示，考慮到許多傳統的微調方法在特定或精心設計的場景之外往往表現不佳，而 AutoScientist 據稱能夠在各種任務和資料集上提供更穩定的效能提升，因此這種一致性尤為值得關注。

該系統是旨在實現模型開發流程自動化的更廣泛計劃的一部分，尤其是在涉及長時程推理的領域，而長時程推理一直是人工智慧可靠性方面的一大挑戰。開發人員表示，AutoScientist 代表著在減少模型訓練流程中人工幹預需求方面邁出的早期一步，未來的研究方向將專注於實現更直接的適應方式，這些方式可能不需要傳統的訓練週期。

除了技術目標之外，此次發布還旨在擴大模型客製化的存取權限，使更多用戶能夠針對特定應用程式自訂人工智慧系統。該工具將免費提供30天。根據官方的說法，其更廣泛的目標是降低人工智慧模型開發的門檻，並使創建客製化系統的能力不再局限於少數集中在大型實驗室的專業研究人員。

公告中強調的一個關鍵背景論點是，全球只有少數人掌握著訓練和優化前沿人工智慧模型所需的專業知識，而這些知識大多集中在少數幾家大型研究實驗室中。公告指出，如果像 AutoScientist 這樣的系統能夠成功地自動化部分專業知識，那麼為特定組織和特定用例建立客製化模型的過程將變得更加便利和切實可行。