文 | 藍字計劃,作者|Hayward
一身皮衣黃仁勳,GTC 2025上意氣風發。
雖然最近英偉達的股票跌得比較狠,甚至來到了10年來的最低點,但這不影響老黃,對最新的GPU們信心滿滿。
時間回撥到2月初,DeepSeek的發佈在AI領域掀起巨浪。一個中國團隊的產品,僅用了少量的低端GPU(以A100為主)蒸餾現有超大模型就實現了高端GPU(以H100為代表)才有的性能。
高端GPU並非剛需,誰還成噸地採購你老黃的Hopper、Blackwell 核彈?過去在AI行業被奉為金科玉律的“Scaling Law”(規模定律),也就是“模型參數量、數據集、訓練成本越多越好”的觀念也被嚴重衝擊。
這幾年谷歌、Meta、微軟等互聯網大廠成噸地採購H100晶片以維持規模,正是想以算力分勝負、定生死。現在根本不需要如此恐怖的規模,也能讓大模型擁有媲美 OpenAI o1的性能。
一時間,宣稱DeepSeek能讓英偉達走上末路的聲音此起彼伏,特別是海外的社媒平台發酵最快、傳播最兇。有X網友更坦言“英偉達的一切都將開始瓦解”,這段時間里英偉達的股票一天下跌13%、17%都成了常態。
不過,也有另一種聲音稱,從長期來看DeepSeek的成功反而利好英偉達。
DeepSeek揭示了可以通過“蒸餾現有超大模型”的方法訓練性能出色的大模型,但只是不需要用到H100晶片這等性能怪獸而已,並非完全不依賴計算卡。A100計算卡,也是英偉達家的產品。
玩家的門檻降低了,入場的玩家自然會越來越多,從市場總量來說,對算力的需求還是會上升的。英偉達又是全世界最大的卡販子,總會賣出更多的計算卡。
再說了要蒸餾現有的超大模型,也得先有性能出色的超大模型存在才行,到底還是需要H100這樣的計算卡集群來訓練超大模型,這似乎是個“先有雞還是有蛋”的問題。
只能說兩種聲音都有道理,不過大家最想知道的還是老黃本人的聲音。
這次GTC 2025,我們終於等到老黃的親自回應。
按照慣例,我們先來回顧一下這場光門票就要價1萬美元的“科技盛宴”。
簡單來說,英偉達主要發佈了四款晶元架構、兩款AI電腦、一款AI訓練底層軟體和展示了具身機器人相關的進展,其他內容就不贅述了。
· 4款AI晶片架構,分別是將在2025下半年發佈的Blackwell Ultra、2026下半年發佈的Vera Rubin、2027下半年發佈的Vera Rubin Ultra,和2028年的Feynman。
全新的超級晶元產品方面,基於Blackwell Ultra架構的GB300 NVL72晶片是上代最強晶元GB200的繼任者,推理是GB200 NVL72的1.5倍,提升幅度不算大,甚至在大會上GB300的直接對比對象還是2年前的H100。
從市場的反應來看大部分人對GB300不太買帳,它沒有上一代GB200的那種“橫空出世”的驚喜感,要說最大的升級點,可能是HBMe記憶體提升至288GB,就是有點“蘋果今年發佈的新機是2TB版本的iPhone 16 Pro Max”的味道了。
重頭戲是英偉達未來的晶元架構規劃,下代超級晶片Rubin NVL144,比GB300 NVL72 強了3.3倍;下下代的Rubin Ultra NVL576性能是GB300 NVL72的14倍,從畫餅給出的性能來看,未來大概率還是會由英偉達掌握GPU算力王座。
· 兩款全新的AI電腦,分別是搭載了GB10 Grace Blackwell超級晶片的DGX Spark,每秒可提供高達 1000 萬億次 AI 運算;搭載了GB300 Grace Blackwell Ultra的DGX Station,可以提供每秒可提供高达2000 萬億次 AI 運算。目前DGX Spark已經開始預售,要價3000美元。
· 開源軟體NVIDIA Dyamo,可以簡單理解為一款AI工廠(數據中心)的作業系統,英偉達說在NVIDIA Blackwell上使用Dynamo優化推理,能讓DeepSeek-R1的輸送量提升30倍。
· 具身機器人的技術儲備,包括機器人通用基礎模型Isaac GR00T N1、一款配備了GR00T N1模型的機器人:Blue,和Google Mind、迪士尼合作的最新成果。
從發佈的產品來看,英偉達還是那個GPU領域的霸主,甚至領導地位已經開始向AI拓展。它們不僅將產品技術路線圖更新至一年一更,未來三年的產品堪稱“超級大餅”,圍繞AI相關的軟體建設也在飛速推進,NVIDIA Dyamo很可能會是未來數據中心的標配。
對於DeepSeek的衝擊,英偉達似乎也有了解決的辦法。
終於,黃仁勳首次在公開場合,正面回應了DeepSeek誕生以來對公司造成的衝擊。
首先他把DeepSeek從頭到腳吹了一遍,說DeepSeek R1模型是“卓越的創新”和“世界級的開源推理模型”,而且他淡定地表示,不理解為什麼大家會把DeepSeek當成英偉達的末日。
至於因DeepSeek而起的關於Scaling Law撞牆的討論,老黃在會上給出了自己的理解。
首先,他在大會上對Scaling Law進行了一次反覆運算更新:
現在他將Scaling Law細化為PRE-TRAINING SCALING、POST-TRAINING SCALING、TEST-TIME SCALING三個部分。老黃的意思是,隨著AI進入到不同階段,對Scaling的需求是不斷提高的。
這裡要提一下,老黃認為AI的發展分為四個階段:感知人工智慧(Perception AI)、生成式人工智慧(Generative AI)、代理人工智慧(Agentic AI)和未來的物理 AI(Physical AI)。而現在我們正處於代理人工智慧階段。
現階段由於推理模型、AI代理的爆發,實際上更加需要Scaling,更加需要算力。
其背後的關鍵是token。
以推理模型為例子,模型進行推理時,token的消耗猛漲。用老黃的話,我們不僅需要讓token的輸送量提升十倍,還需要過去10倍的算力來提升token的輸出速度,最終,需要的算力是之前的100倍。
從技術上來說,這不無道理。相比傳統的生成式模型,比如ChatGPT,我們觀察到它沒有列舉推理步驟。輸入問題 → 提供答案,沒中間商差價,答案所呈現的就是最終消耗的token數。
而擁有思維鏈的推理式模型,比如大家熟知的DeepSeek R1,會有一連串的推理過程,有些時候可能推理過程的字數比答案還要多。
R1模型能夠實現推理,是因為會將輸出的token返回上級重新思考、推理,正如比喻大師老黃所說的“每個token都會自我懷疑”,在不斷的懷疑-論證中,形成了推理的過程。但這也會更多地消耗算力和token,推理模型要比傳統生成式模型多消耗的token不是2倍,而是20倍。
所以,我們用推理模型時,一大串的思考、推理過程要在前臺展示出來,不僅因為使用者可以從大模型的推理過程介入修正答案,還因為它們不是白送的,不是免費的,而是在消耗一個個token,都是真金白銀,花了錢的地方肯定得讓你看到。
而且市面上的推理模型越來越多,更多的傳統模型也陸續開始加入推理過程,比如谷歌的Gemini,最終token的消耗會呈指數級增長。
這就是老黃堅信Scaling Law沒有失效的底氣。在會上,老黃用傳統模型Llama 3.3 70B與DeepSeek R1 671B進行了對比,統一回答一個複雜問題。最終前者消耗了400多個token但結果不可用,後者的結果堪稱完美,但足足消耗了8559個token。
或許從蒸餾大模型的點子中節約的算力,又會消耗到推理的過程中,說不准這就是AI算力中的能量守恆呢。
除了黃仁勳的激情論證,一個事實是,在這個高token消耗時代,英偉達的GPU的確賣得更猛了。
彭博社報導,OpenAI 預計在「星際之門」首期計劃中,建立一個可以容納40萬個英偉達的 AI 晶元的數據中心綜合體。全部裝滿的話,這會是世界最大的AI算力集群之一。
還有對算力推崇至極的馬斯克,旗下的 xAI 已與戴爾達成 50 億美元協定,用於在孟菲斯建設超級計算機的 AI 伺服器;Meta也宣佈計劃要擁有相當於 600,000 塊英偉達 H100 晶片的算力。
還有國內的阿裡、小米、騰訊等公司,也將部署海量算力作為主要目標。這背後的顯卡供應商,毫無疑問都主要來自英偉達。推理模型鋪開后大公司們對計算卡、算力的熱情絲毫不減,看來至少大公司們仍相信未來是算力的時代。
在個人本地部署領域,DeepSeek R1也沒有真正地減輕個人用戶的算力負擔。
2月中,全網掀起了一陣本地部署DeepSeek R1蒸餾模型的熱潮,但從個人的經驗來看,想要得到較好的模型性能,對電腦配置,也就是算力的要求一點都不低。
以RTX 4080 16GB顯卡為例,擁有9728個CUDA核心,16GB GDDR6X的顯存頻寬為736 GB/s,在顯卡中已經算高端。
但用它在本地部署14B的DeepSeek R1蒸餾模型時,大部分的推理速度只有20-30 tokens/s,需要分析深度問題往往需要等待超過10分鐘。
如果更進一步用它來部署32B的蒸餾模型,推理速度會進一步下降到5-15 tokens/s,生成同樣的回答,就需要等待超過30分鐘。
這樣的效率顯然是不行的。如果想要提高推理速度,有兩個辦法:
選擇更小參數的蒸餾模型部署,但推理的精度、答案的可靠性會明顯下降;
選擇更高配置的硬體,比如RTX 5080/5090,用5090部署32B的蒸餾模型,推理速度也能達到50-60 tokens/s,效率明顯提升,但又讓老黃賣卡的計劃通了。
也許大多數人的算力條件,本地部署的大模型還不如直接打開騰訊元寶高效。
因此,從DeepSeek R1引申出來的“蒸餾模型節省訓練算力”已經被“推理模型消耗算力”抵消,這給了英偉達全新的機遇,可以說DeepSeek的出現為英偉達關上了一扇門,又打開了一扇窗。
最終,我們不得不承認長遠來看算力的需求還會不斷增加,還是利好英偉達。雖說今年Blackwell Ultra擠牙膏,但後面幾年的晶元架構都會有明顯的算力提升。當各大廠的算力吃緊時,老黃的核彈們,又有大展拳腳的機會了。
縱觀GTC 2025,只要是涉及AI、GPU、算力的部分,老黃都離不開token,甚至有好事的媒體專門統計了他在會上提到“token”的次數,還怪幽默的。
在新Scaling Law時代,token彷彿成了英偉達的救命稻草。雖然從邏輯上看老黃的觀點說得通,但如此頻繁地重複一種邏輯,就像我們在文章中連續寫100次“token”,多少會有人覺得,英偉達有點歇斯底裡。
自農曆新年以來,英偉達的市值已經跌去了將近30%,這次發佈會的黃仁勳不再像一個技術大拿,不像是那個“全世界最聰明的科學家”、“全球最牛公司的CEO”,而像一個絮絮叨叨的金牌銷售,通過販賣token焦慮的方式,讓大家堅信英偉達仍掌握著未來。
不過投資者的信心不來自推銷和佈道,而來自產品。事實就是今年下半年面世的GB300確實沒有太多亮點,畫的大餅又比較遙遠。反映到股價上,發佈會結束后英偉達的股價依然下跌了3.4%。
其實更令我哭笑不得的是價值3000美元的DGX Spark,根據官網披露的資訊這款產品的128GB記憶體,帶寬只有273GB/s。
儘管老黃將它定義為“可用於本地部署”的AI電腦,但這性能真不敢恭維。不說滿血版671B的DeepSeek R1,跑大部分32B的模型可能也只能實現2-5 tokens/s的輸出效率。用它來跑傳統的模型應該還不賴,但推理模型估計是很困難了。
或許它存在的意義,停留在“讓大家買更強的DGX Station”上罷了。只是如果你一直在販賣token焦慮,最好能拿出更多能解決token焦慮的產品來。
英偉達現在缺乏的不是技術和產品,在GPU領域一騎絕塵,第二名都看不到車尾燈;真正缺乏的,是對消費者的誠意。
參考資料:
APPSO 《剛剛,黃仁勳甩出三代核彈AI晶片!個人超算每秒運算1000萬億次,DeepSeek成最大贏家》
第一財經 《淩晨,黃仁勳重大宣佈!》
圖片來源:GTC March 2025 Keynote with NVIDIA CEO Jensen Huang