Meta推出Llama 4系列,開創性採用“混合專家”架構引領AI新紀元
更新于:2025-04-11 07:06:31

在科技界的又一次重大突破中,meta公司於深夜震撼發佈了其最新的Llama 4系列開源AI模型,這一系列包括了Llama 4 Scout、Llama 4 Maverick以及尚在訓練中的Llama 4 Behemoth。

據meta官方介紹,這些模型均經過海量未標註文本、圖像和視頻數據的嚴格訓練,旨在賦予它們卓越的視覺理解能力。這一舉措被視為多模態人工智慧創新領域的一個全新里程碑。

“今天,我們迎來了原生多模態AI的新時代,”meta公司表示,“我們自豪地推出了首批Llama 4模型——Llama 4 Scout和Llama 4 Maverick。這些模型不僅代表了我們的最高技術水準,也在多模態領域中樹立了新的標杆。”

具體來看,Llama 4 Scout擁有170億活躍參數,並配備了16個專家系統。其上下文視窗能力行業領先,能夠處理高達1000萬標記的數據。在多項基準測試中,Llama 4 Scout的表現超越了Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1等競爭對手。

而Llama 4 Maverick同樣擁有170億活躍參數,但專家系統數量增加至128個。在圖像定位方面,它展現出了頂尖水準,能夠將使用者提示與視覺概念精準對齊,並將模型回應定位在圖像的特定區域。在基準測試中,Llama 4 Maverick的表現優於GPT-4o和Gemini 2.0 Flash。在推理和編碼方面,它與DeepSeek v3取得了相當的結果,但活躍參數僅為後者的一半。在性價比方面,其聊天版本在LMArena上的ELO得分高達1417。

meta強調,Llama 4 Scout和Llama 4 Maverick之所以能成為迄今為止最好的模型,得益於從Llama 4 Behemoth中進行的知識蒸餾。Llama 4 Behemoth作為meta最強大的模型,目前仍在訓練中,但在專注於STEM領域的基準測試中,已經展現出了超越GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro的實力。

Llama 4系列模型是meta旗下首批採用混合專家(MoE)架構的模型。這種架構通過將數據處理任務分解為子任務,並委派給更小的、專門的“專家”模型,從而提高了訓練和回答用戶查詢時的效率。

“混合專家架構的引入,是我們技術創新的重要一步,”meta公司表示,“它使我們能夠更高效地處理複雜的數據處理任務,為使用者提供更準確、更快速的AI服務。”

隨著Llama 4系列的發佈,meta再次展示了其在人工智慧領域的領先地位。這一系列模型的推出,不僅將推動多模態AI技術的發展,也將為各行各業帶來更多的創新和變革。

未來,隨著Llama 4 Behemoth的完成訓練以及更多基於混合專家架構的模型的推出,meta有望在人工智慧領域繼續引領潮流,為人類社會的發展貢獻更多的智慧和力量。