Visual-RFT團隊 投稿量子位 | 公眾號 QbitAI

o1/DeepSeek-R1背後秘訣也能擴展到多模態了！

舉個例子，提問多模態大模型：“什麼寶可夢可以釋放技能十萬伏特”時，模型通過

這是來自上海交大、上海AI Lab、港中文大學的研究人員推出的視覺強化微調開源專案——Visual-RFT (Visual Reinforcement Fine-Tuning)， 只需10~1000條數據，就能通過思考過程和基於規則的監督提升多模態大模型的性能。

具體來說，他們將DeepSeek-R1背後的基於規則獎勵的強化學習方法和OpenAI的強化微調（Reinforcement Fine-Tuning，RFT）範式，成功從純文本大語言模型拓展到了視覺語言大模型（LVLM）。

通過針對視覺的細分類、目標檢測等任務設計對應的規則獎勵，Visual-RFT打破了DeepSeek-R1方法局限於文本、數學推理、代碼等少數領域的認知，為視覺語言模型的訓練開闢了全新路徑。

下面具體來看。

從R1到Visual-RFT：強化學習的多模態突破

OpenAI o1主打的強化微調能力（Reinforcement Fine-Tuning）能只用少量樣本就將o1遷移到新的任務上。

最近DeepSeek-R1解釋了o1模型背後的強推理能力來自基於可驗證獎勵（Verified Rewards）/規則獎勵（Rule-based Verifier）的強化學習策略。

不過，目前主流的認知在於這種基於規則獎勵的方法只適用於數學推理、代碼等少數便於驗證的任務。

而在Visual-RFT中，研究人員將這一策略遷移到了視覺語言模型。

通過對細分類、目標檢測等任務建立對應的可驗證規則獎勵，研究解決了傳統方法在視覺領域中的局限性，只需少量微調樣本就實現了更高效、泛化性更強的視覺理解與推理能力。

傳統的視覺指令微調（Visual Instruction Tuning/Supervised Fine-Tuning，SFT）需要海量數據對模型微調，在數據量有限（例如某些難以收集數據的特定學科場景）的情況下帶來的提升有限。

與之不同，新研究提出的視覺強化微調（Visual Reinforcement Fine-Tuning）具有少樣本學習能力和更強的泛化性，在數據量有限的場景下相比指令微調具有很大的優勢。

為驗證Visual-RFT（視覺強化微調）的的泛化能力和普適性，力求對視覺領域的全面覆蓋，研究人員在多個視覺感知任務上對Visual-RFT進行驗證，包含Detection，Classification，Grounding等。

其中，Visual-RFT在open vocabulary，few-shot learning等設定下，僅僅通過非常少量的數據就取得了顯著的性能提升，輕鬆實現能力的遷移，且結果明顯優於SFT的微調方法。

在Reasoning Grounding（推理定位）的測試中，Visual-RFT展現出強大的視覺推理能力。

評測結果如下圖所示：

為了在視覺多模態領域驗證可驗證獎勵的作用，研究人員提出了使用基於IoU的verified reward獎勵應用於detection和grounding等任務，使用基於分類正確判斷的cls reward用於classification任務。

部分推理定位結果顯示，通過引入思考過程和強化學習策略，Visual-RFT（多模態強化微調）顯著超越SFT，更加準確地定位物體。

如詢問模型，圖中的運動員在水下依然保持清晰的視野需要帶什麼物體時候，通過傳統指令微調的方法模型直接將整個運動員框出。

而Visual-RFT通過引入推理過程準確地指出防水眼睛及其所在的位置並準確框出。

部分推理細粒度分類結果也展示了相同結論。

小結一下，相比於傳統的視覺指令微調（Visual Instruction/Supervised Fine-Tuning），Visual-RFT（視覺強化微調）通過強化學習方法，對問題進行深入的think分析取得更佳推理性能，相較於傳統的指令微調（SFT）方法取得顯著提升。

Visual-RFT實驗結果

Visual-RFT（視覺強化微調）在各大圖文感知任務中均展現出強大的性能。

實驗主要基於視覺語言大模型基座QWen2-VL 2B/7B模型，和傳統的監督微調（Supervised Fine-Tuning）方法進行對比。

在開放目標檢測、少樣本檢測、細粒度分類和推理定位任務上，Visual-RFT相比SFT全面實現了性能提升。

值得一提的是，該研究的測試數據既包含COCO、LVIS等通用場景，又包含從互聯網中收集的卡通人物等開放場景數據。只需要幾十條數據，模型通過Visual-RFT可以學會檢測某動漫中的史萊姆形象。

實驗結果廣泛驗證了Visual-RFT的卓越性能和魯棒性。

目前，包含訓練、評測代碼，數據在內，Visual-RFT專案已全面開源。

項目位址：https://github.com/Liuziyu77/Visual-RFT