4月5日,Meta公司發佈了大型語言模型Llama的最新版本Llama 4 Scout與Llama 4 Maverick。
Meta在聲明中表示,Llama 4是一個多模態AI系統,能夠處理和整合文本、視頻、圖像、音訊等多種數據類型,並能在不同格式之間實現內容轉換。據介紹,Scout和Maverick是該公司首款採用混合專家架構(MoE)的模型,兩者均以開源形式發佈。此外,Meta還預告了Llama 4 Behemoth,稱其為“全球最聰明的語言模型之一,將作為未來模型訓練的教師模型”。
沒想到,隨後就被曝出模型訓練測試集作弊,內部員工直接辭職,引發爭議。
爭議的導火索源於海外留學求職交流論壇“一畝三分地”的一篇帖子,發帖人自稱是參與Llama 4訓練的內部員工,並表示已因此辭職。
該員工透露,儘管團隊反覆努力訓練,Llama 4的內部模型性能始終無法達到開源SOTA(State-of-the-Art,頂尖水準)基準,差距明顯。為達成目標,公司領導層提出在訓練後期將各種基準測試的“測試集”數據混入訓練或微調數據中,以此在各項指標上達成目標,交出一份“好看”的成績單。
這位內部員工@dliudliu表示,自己無法接受這種做法,甚至辭職信中明確要求不要在Llama 4技術報告中掛名。
就在Llama 4即將發佈前幾天,Meta AI研究主管Joelle Pineau在工作8年之後突然宣布離職。
知名科技媒體TechCrunch也發文質疑Llama 4的性能測試存在誤導性。文章聚焦Llama 4(即Maverick)在著名的人類評估排行榜LM Arena上的表現,指出Maverick雖取得第二名的好成績,但背後另有隱情。在一些實測中,號稱千萬上下文的召回率,上下文的實際表現,遠低於預期。而Llama 4 Maverick 在 aider 多語言編碼基準測試中得分為實測僅為 16%。
有人認為Llama 4的表現甚至和Llama 3.2一樣沒有任何進步,也無法完成寫詩。其他用戶在測試后也表達了同樣的觀點,Llama 4有點不符合預期。
幾位AI研究人員在社交媒體上都“吐槽”認為,Meta提交給LM Arena進行測試評估的Maverick版本,和公開發佈給開發者使用的版本可能並非同一個。
不過Meta表示,更強大的一款被命名為Llama 4 Behemoth的大模型仍在訓練中。據稱,Meta Platforms的CEO紮克伯格此前給全員下了死命令,4月底是Llama 4交付最後期限。
早在1月10日,有媒體稱,據加利福尼亞聯邦法院公開的庭審檔中,一些作家指控Meta Platforms在訓練其Llama AI模型時,未經授權使用了盜版電子書和文章數據集LibGen,並通過點對點(P2P)方式下載了大量盜版書籍和文章,而且內部員工還爆料此事獲得了紮克伯格的允許,目前案件在審理中。
今年年初,紮克伯格曾表示2025年計劃投資多達650億美元用於人工智慧(AI)相關專案,包括建立新的巨型數據中心和加大AI團隊的招聘,以鞏固其在與OpenAI和谷歌競爭中的地位。