關稅刷屏的一周,AI圈也“暗流湧動”:Llama 4來了,O3和O4-mini也要來了,DeepSeek R2和GPT-5也不遠了?
更新于:2025-04-06 16:22:00

本文作者:鮑奕龍

來源:硬AI

本周全球被關稅議題佔據頭條,但科技界的目光卻聚焦在AI領域的密集動作上。

週末,Meta深夜突襲發佈Llama 4系列,號稱“原生多模態+千萬級上下文視窗”,並首次披露單卡H100可運行的輕量化版本。此前OpenAI則宣佈O3和O4-mini模型即將在幾周內上線,同時確認GPT-5因技術整合和算力部署問題推遲數月。

DeepSeek則與清華大學的研究團隊本周聯合發佈了一篇關於推理時Scaling的新論文,提出了一種名為自我原則點評調優(SPCT)的學習方法,並構建了DeepSeek-GRM系列模型。結合元獎勵模型實現推理時擴展,性能接近671B大模型,暗示DeepSeek R2臨近。

Meta強勢推出Llama 4,多模態與超長上下文成亮點

週六,Meta正式發佈了Llama 4系列模型,Llama 4全系採用混合專家(MoE)架構,並實現了原生多模態訓練,徹底告別了Llama 3純文本模型的時代。此次發佈的模型包括:

  • Llama 4 Scout(17B 激活參數,109B 總參數量,支援 1000 萬+ Token 上下文視窗,可在單張 H100 GPU 上運行);

  • Llama 4 Maverick(17B 激活參數,400B 總參數量,上下文視窗 100 萬+,性能優於 GPT-4o 和 Gemini 2.0 Flash);

  • 以及強大的 Llama 4 Behemoth 預覽(288B 激活參數,2 萬億總參數量,訓練使用 32000 塊 GPU 和 30 萬億多模態 Token)

此次公佈的Llama 4 Maverick 和 Llama 4 Scout 將是開源軟體。然而,Llama 4 的新許可證對使用有一定限制,例如月活使用者超 7 億的公司需申請特殊許可,且使用時需遵守多項品牌和歸屬要求

前kaggle總裁,fast AI 創始人Jeremy Howard表示,雖然感謝開源,但Llama 4 Scout 和 Maverick 都是大型 MoE 模型,即使量化後也無法在消費級 GPU 上運行,這對開源社區的可及性來說是個不小的損失

Meta強調,Llama 4 Scout 和 Llama 4 Maverick 是其“迄今為止最先進的型號”,也是“同類產品中多模態性最好的版本”

  • Scout亮點:速度極快,原生支援多模態,擁有業界領先的 1000 萬+ Token 多模態上下文視窗(相當於處理 20 多個小時的視頻!),並且能在單張 H100 GPU 上運行(Int4 量化後)
  • Maverick性能:在多個主流基準測試中擊敗了 GPT-4o 和 Gemini 2.0 Flash,推理和編碼能力與新發佈的 DeepSeek v3 相當,但激活參數量不到後者一半

X網友也對Scout模型的性能感到震驚,尤其是其在單GPU上運行並支援超長上下文視窗的能力。

最令人矚目的是Llama 4 Behemoth。目前Behemoth仍處訓練中,不過Meta將其定位為“世界上最智慧的 LLM 之一”。這個擁有288B激活參數和2萬億總參數量的“巨獸”,在32000塊GPU上訓練了30萬億多模態Token,展現了Meta在AI領域的雄厚實力。

有X網友指出了Behemoth訓練的性能潛力,強調了它在階段就已經表現出超越多個最高級模型的能力,例如Claude 3.7 和Gemini 2.0 Pro。

還有X網友調侃了 Meta 的“燒錢”策略,同時對 Llama 4 的參數規模表示驚訝。

此前《The Information》週五報導稱,在投資者向大型科技公司施壓,要求其展示投資回報的情況下,Meta 計劃今年投入高達650 億美元來擴展其 AI 基礎設施。

OpenAI確認O3和O4-mini即將上線,GPT-5免費策略引轟動

在Llama 4發佈的同時,OpenAI首席執行官Sam Altman則在社交媒體上確認,O3和O4-mini將在未來幾周內發佈,而GPT-5則將在未來幾個月與公眾見面。

儘管沒有更多關於o3和o4mini的細節內容,但是Altman表示,OpenAI在很多方面真正改進了o3模型,一定會讓使用者大為滿意。

實際上GPT-5的功能和發佈時間才是市場關注的重點。據Altman透露,GPT-5將整合語音、Canvas、搜索、Deep Research等多項功能,成為OpenAI統一模型戰略的核心。

這意味著GPT-5將不再是一個單一的模型,而是一個集成了多種工具和功能的綜合系統。通過這種整合,GPT-5將能夠自主使用工具,判斷何時需要深入思考、何時可以快速回應,從而勝任各類複雜任務。OpenAI的這一舉措旨在簡化內部模型和產品體系,讓AI真正實現隨開隨用的便捷性。

更令人興奮的是,GPT-5將對免費使用者開放無限使用許可權,而付費使用者則能體驗到更高智力水準的版本。此前,奧特曼在和矽谷知名分析師Ben Thompson的深度對談中,表示因為DeepSeek 的影響, GPT-5將考慮讓用戶免費使用。

不過對於GPT-5的發佈時間反覆推遲,有網友做出了下面這個時程表來調侃。

DeepSeek攜手清華發佈新論文

DeepSeek與清華大學的研究團隊本周聯合發佈了一篇關於推理時Scaling的新論文,提出了一種名為自我原則點評調優(Self-Principled Critique Tuning,簡稱SPCT)的學習方法,並構建了DeepSeek-GRM系列模型。這一方法通過在線強化學習(RL)動態生成評判原則和點評內容,顯著提升了通用獎勵建模(RM)在推理階段的可擴充性,並引入元獎勵模型(meta RM)進一步優化擴展性能。

SPCT方法的核心在於將“原則”從傳統的理解過程轉變為獎勵生成的一部分,使模型能夠根據輸入問題及其回答內容動態生成高質量的原則和點評。這種方法包括兩個階段:

  • 拒絕式微調(rejective fine-tuning)作為冷啟動階段,説明模型適應不同輸入類型;
  • 基於規則的在線強化學習(rule-based online RL)則進一步優化生成內容,提升獎勵品質和推理擴充性。

為了優化投票過程,研究團隊引入了元獎勵模型(meta RM)。該模型通過判斷生成原則和評論的正確性,過濾掉低質量樣本,從而提升最終輸出的準確性和可靠性。

實驗結果顯示,DeepSeek-GRM-27B在多個RM基準測試中顯著優於現有方法和模型,尤其是在推理時擴展性方面表現出色。通過增加推理計算資源,DeepSeek-GRM-27B展現了強大的性能提升潛力,證明瞭推理階段擴展策略的優勢

這一成果不僅推動了通用獎勵建模的發展,也為AI模型在複雜任務中的應用提供了新的技術路徑,甚至可能在DeepSeek R2上能看到該成果的展示。

有海外論壇網友調侃道,DeepSeek一貫是“論文後發模型”的節奏,競爭對手Llama-4可能因此受壓。

免責聲明:本文內容與數據僅供參考,不構成投資建議,使用前請核實。據此操作,風險自擔。