Perplexity推出WANDR基準測試，用於衡量人工智慧代理的大規模研究能力

困惑人工智能 推出了 WANDR（廣度與深度研究），這是一個開放的基準測試框架，旨在評估人工智慧系統執行大規模研究任務的效率，這些任務既需要廣泛的資訊發現，也需要詳細的證據收集。該框架包含 500 個基於專業知識工作的真實資料收集任務，包括市場分析、盡職調查、文獻綜述、競爭情報、產品比較和人才搜尋。

與專注於產生單一答案或書面報告的傳統人工智慧基準測試不同，WANDR 衡量的是人工智慧系統識別大量相關實體並用佐證材料驗證每個結果的能力。該基準測試旨在反映真實世界的研究工作流程，其中成功不僅取決於找到準確的信息，還取決於對數百甚至數千條記錄的全面覆蓋。

據 Perplexity 稱，目前人工智慧系統在這一領域仍然面臨著巨大的挑戰。即使是該公司評估中表現最佳的模型，其軟 F1 分數也僅為 0.363，硬 F1 分數也只有 0.133，這表明大規模、基於證據的研究距離完全自動化還很遙遠。該基準測試包含 500 項任務，涵蓋超過 170,000 萬筆有來源支援的記錄，為研究導向的人工智慧代理提供了一個大規模的測試環境。

基準測試結果凸顯目前人工智慧研究的局限性

WANDR採用一種無需參考文獻的評估流程，它根據人工智慧系統引用的證據來驗證每一項提交的主張，而不是將結果與固定的答案標準進行比較。每一項主張都會經過檢查，包括來源品質、事實準確性、相關性，以及支持性摘錄是否真正證實了所提供的資訊。這種方法旨在更好地反映現實世界的研究，因為現實世界中資訊會隨時間變化，而且難以維護完整的答案集。

該基準測試還提供詳細的診斷信息，以識別人工智慧系統在複雜研究任務中出現故障的環節。效能評估涵蓋多個階段，包括資訊發現、資料豐富、身分匹配、來源驗證和證據提取，使開發人員能夠精準定位除整體準確率之外的薄弱環節。

Perplexity 使用 WANDR 在相同的測試條件下評估了六個生產級 AI 研究系統。其 Search as Code (SaC) 平台取得了最高的整體效能，軟 F1 分數為 0.363，硬 F1 分數為 0.133。 Anthropic 則位居第二，軟 F1 分數為 0.249，硬 F1 分數為 0.072，而其他受評系統的軟 F1 分數均未超過 0.121。研究還發現，增加計算量通常可以提高多個模型的效能，但更高的成本和更長的處理時間不一定能帶來更好的結果。

該公司表示，該基準測試旨在為從事人工智慧搜尋和研究系統的研究人員和開發人員提供開放資源。除了基準測試之外，WANDR 還可以透過在研究過程的每個階段提供結構化回饋來支援未來的強化學習技術，使人工智慧模型不僅能夠提高事實準確性，還能大規模地提高規劃、覆蓋範圍和證據收集能力。