IT之家 3 月 24 日消息，科技媒體 marktechpost 昨日（3 月 23 日）發佈博文，報導稱 Meta AI 公司攜手加州大學伯克利分校，合作推出名為 SWEET-RL 的強化學習框架，併發佈了 CollaborativeAgentBench（ColBench）基準測試。

這一創新旨在提升大語言模型（LLMs）在多輪人機協作任務中的表現，特別是在後端程式設計和前端設計領域。SWEET-RL 通過逐輪優化決策，顯著提高了模型的任務完成率，並展示了其在開源模型（如 Llama-3.1-8B）與專有模型（如 GPT-4o）競爭中的潛力。

專案背景

IT之家援引博文介紹，大語言模型正逐漸演變為能夠執行複雜任務的自主智慧體，但在多輪決策任務中仍面臨挑戰。

傳統訓練方法依賴於單輪反饋或模仿高概率行為，無法有效處理長期依賴和累積目標。這導致模型在協作場景中表現不佳，特別是在理解人類意圖和多步驟推理方面。

SWEET-RL 的創新之處

SWEET-RL 採用非對稱的“演員-評論家”結構，評論家在訓練過程中可以訪問額外資訊（如正確答案），從而更精確地評估演員的決策。

該框架直接建模逐輪的優勢函數，簡化了信用分配過程，並與 LLMs 的預訓練架構更好地對齊。實驗結果顯示，SWEET-RL 在後端程式設計任務中通過率提升至 48.0%，前端設計任務的餘弦相似度達到 76.9%，顯著優於其他多輪強化學習方法。

ColBench 基準測試

ColBench 包含超過 10000 個訓練任務和 1000 個測試案例，模擬真實的人機協作場景。任務設計涵蓋後端程式設計（如 Python 函數編寫）和前端設計（如 HTML 代碼生成），並限制每輪交互最多 10 次。

這一基準測試通過單元測試通過率（代碼）和餘弦相似度（設計）評估模型表現，為多輪任務提供了可靠的評估標準。