一水 發自 凹非寺量子位 | 公眾號 QbitAI

剛剛，Kimi團隊上新了！

開源輕量級視覺語言模型Kimi-VL及其推理版Kimi-VL-Thinking，多模態和推理雙雙拿捏。

按照Kimi官方的說法，其關鍵亮點如下：

都是基於MoE架構，總參數為16B，但推理時僅啟動2.8B；

具備強大的多模態推理能力（媲美參數大10倍的模型）和Agent能力；

支援128K上下文視窗；

採用相對較為寬鬆的MIT許可證。

如圖所示，和Qwen2.5-VL、Gemma-3等前沿開源VLM相比，Kimi-VL-Thinking僅使用2.8B激活參數即可實現強大的多模態推理。

同時在一些重要基準測試中，Kimi新模型“以小博大”，超越了GPT-4o等規模更大的模型。

目前兩款模型均已上架Hugging Face，分為Instruct基礎版和Thinking推理版。

網友們紛紛表示，新的標杆再次誕生！

多模態和推理雙雙拿捏

話不多說，我們直接看Kimi新模型的具體玩法和效果。

視覺理解與推理

首先，作為一款通用的VLM模型，Kimi-VL具備強大的視覺理解和推理能力。

給它一份手稿，要求它通過逐步推理來確認手稿屬於誰，以及所記錄的內容。

可以看到，Kimi-VL通過分析手稿的筆跡、內容、語言等特徵，推斷出手稿可能屬於愛因斯坦，理由是這些內容與引力場方程有關，這與愛因斯坦對廣義相對論的貢獻有關。

又或者只提供一張圖片，讓Kimi-VL來判斷城市地標建築、識別遊戲場景等。

比如第2個例子中，它成功識別出圖片中的穹頂建築為多倫多的羅傑斯中心（Rogers Centre），同時描述了其特徵和用途。

除此之外，Kimi-VL也能被用來解答高難度幾何數學題。

還是僅需一個上傳圖片的動作，它就能將複雜數學公式轉換為LaTeX代碼，並以正確格式輸出。

OCR與文本處理

當然，Kimi-VL對多模態數據的正確理解還離不開一項關鍵能力——OCR字元識別。

在OCRBench基準測試中，其得分為867，屬於SOTA水準。

除了識別數學公式，它還能識別金融表格（以Markdown表格格式輸出）和手寫作文。

甚至還能從長達一小時的視頻課程中捕捉和理解關鍵細節。

比如提供視頻中的某句話“授人以魚不如授人以漁”，要求它找到出處並進一步解讀。

智慧體任務與交互

值得關注的是，Kimi-VL還在多輪Agent交互任務（例如OSWorld）中表現出色，取得了媲美旗艦模型的SOTA結果。

比如在Chrome瀏覽器中，要求它自動啟用“Do Not Track”功能來保護用戶隱私。

可以看到，通過一步步思考，Kimi-VL對每個螢幕進行解讀，識別相關的用戶介面元素，並通過清晰的思路、操作和API調用按順序執行相應的操作。

背後技術原理

那麼接下來的問題是，怎麼做到的？

來看Kimi此次公開的技術報告。

首先，在模型架構上，Kimi-VL和Kimi-VL-Thinking主要由三大部分構成：

MoE專家混合語言模型（之前發佈的Moonlight-16B-A3B）；

原生解析度視覺編碼器（MoonViT，基於SigLIP-SO-400M微調）；

一個多層感知機（MLP）投影器。

模型具體訓練過程如下：

數據準備

這第一步，團隊構建了三大類別數據集：

1、預訓練數據。精選來自六個類別的高質量數據，包括字幕數據、圖像文字交織數據、OCR數據、知識數據、視頻數據和智慧體數據。通過過濾、合成和去重等操作，控制數據品質。

2、指令數據。用於增強模型的對話和指令遵循能力。對於非推理任務，通過人工標註構建種子數據集，訓練種子模型后生成並篩選多輪回應；對於推理任務，利用拒絕採樣的方式擴展數據集，確保數據多樣性和準確性。

3、推理數據。通過類似拒絕採樣和提示工程的方法，收集和合成高品質的長思維鏈數據。

預訓練：主要提升多模態能力

然後開始預訓練，這一階段共消耗4.4T tokens，主要目標是提高模型的多模態理解能力。

概括而言，這一過程包含4個步驟：先獨立進行ViT訓練，以建立原生解析度視覺編碼器；隨後進行三個聯合訓練階段（預訓練、冷卻、長上下文啟動）。

后訓練：主要提升長思維鏈推理能力

接著進行后訓練，通過在32K和128K上下文中進行的兩個階段的聯合監督微調、長思維鏈監督微調及強化學習，團隊進一步提升了模型的長期思考能力。

更多細節感興趣可以查閱原論文。

One More Thing

有一說一，相比於DeepSeek、Qwen等國內競爭對手，Kimi最近一個月實在有點過於安靜了。

從官方公眾號來看，最新一條發佈還是在2月份。

在這股平靜之下，網友們開始猜測：

結合更多消息，目前大家比較認可的推測是K1.6模型即將到來。

就在3月，基於Kimi-K1.6的數學模型突然曝光，在程式設計基準測試LiveCodeBench中拿下第一，超越o3、DeepSeek-R1等模型。

當然，也歡迎更多知情者在評論區爆料(doge)。

論文：https://github.com/MoonshotAI/Kimi-VL/blob/main/Kimi-VL.pdf模型開源位址：https://huggingface.co/collections/moonshotai/kimi-vl-a3b-67f67b6ac91d3b03d382dd85

參考連結：[1]https://x.com/Kimi_Moonshot/status/1910035354570371082[2]https://x.com/iamfakhrealam/status/1909559812498886813

一鍵三連「點讚」「轉發」「小心心」

歡迎在評論區留下你的想法！