2025年3月20日，在第三屆AI定義汽車論壇上，蔚來汽車數位座艙總監雷鳴介紹，蔚來汽車座艙內的智慧助理Nomi被定義為懂使用者的情感夥伴，具有自然擬人交互、貼心可靠幫手、專屬情感夥伴三大特性。其技術框架涵蓋隱私安全、原子能力、異構算力等底層支撐，通過多模感知大模型、認知底座、認知中樞大模型及交互介面，實現高效交互，具備語音免喚醒、多人自由說等特色功能。
在大模型時代，Nomi結合新技術持續進化。團隊推出多智慧體框架，將座艙核心體驗 agent化，涵蓋知識類、生成類、任務類等多種場景，如用車問答、表情生成、福利查詢等，提升用戶體驗。
雷 鳴 | 蔚來汽車 數位座艙總監
以下為演講內容整理：
Nomi智慧助理：蔚來汽車座艙智慧化的核心力量
在汽車智慧化發展的浪潮中，蔚來汽車積極探索創新，打造的數位座艙對話助理Nomi，成為了提升用戶體驗的關鍵一環。Nomi被定義為“懂你的情感夥伴”，這一定位賦予了它獨特的使命，即通過先進的交互技術，為使用者提供自然、貼心且個人化的服務，在使用者與汽車之間搭建起情感溝通的橋樑。
Nomi具備三大核心特性。自然擬人的交互是其顯著特徵之一，借助語音、視覺及多模感知技術，Nomi能夠實現與使用者自然流暢的溝通，為用戶帶來仿若人與人交流般的體驗。在語音交互方面，它能精準識別不同用戶的聲音，理解各種複雜指令；在視覺交互上，通過獨特的表情展示和靈動視窗，給予使用者生動形象的反饋，讓交互充滿溫度。
圖源：蔚來汽車
作為貼心可靠的幫手，Nomi在車內功能操控和服務提供上發揮著重要作用。它不僅可以熟練地完成車輛的各種控制操作，如調節座椅、控制車窗、設置導航等，還能為使用者提供豐富的生活服務，如查詢天氣、預訂餐廳、播放音樂等，滿足用戶在車內的多樣化需求，成為使用者的得力助手。
專屬的情感陪伴是Nomi的一大亮點。它能根據使用者的使用習慣和偏好，提供個人化的服務和情感關懷。無論是根據使用者的心情播放合適的音樂，還是在特殊日子送上溫馨的祝福，Nomi都能讓使用者感受到專屬的溫暖，為漫長的旅途增添樂趣。
在大語言模型（LLM）時代來臨之前，蔚來團隊就已在情感體驗方面進行了諸多探索與實踐。從2018年的自定義喚醒詞開始，陸續推出了情感對話能力、連續對話、靈動音色等功能，不斷豐富和優化Nomi的服務體驗。到2024年，Nomi已經具備了全艙免喚醒、一句話多指令、記事備忘等強大功能，在情感交互和功能實現上走在了行業前列，為用戶帶來了領先的情感體驗。
隨著LLM技術的快速發展，Nomi面臨著新的機遇與挑戰。如何將先進的大模型技術融入自身，提升服務能力和交互效果，成為蔚來團隊思考的關鍵問題。這不僅需要在技術框架上進行創新，更要在產品模式適配（PMF）上做出深入探索，以確保Nomi在新的技術浪潮中持續為用戶創造價值。
NomiGPT技術框架
NomiGPT技術框架是蔚來汽車為實現Nomi智慧化升級而構建的核心架構，它整合了多種先進技術，旨在為使用者提供更高效、智慧的交互體驗。該框架從底層基礎到上層應用，涵蓋了多個關鍵層面。
底層支撐包括隱私安全、原子能力和異構算力。在隱私安全方面，蔚來高度重視大模型的安全對齊和用戶隱私保護，採用先進的加密技術和安全機制，確保用戶數據的安全存儲與傳輸。原子能力層集成了豐富的基礎功能，涉及車輛控制、手機互聯、蔚來特色服務（如家電能源管理、生活服務等），這些原子能力為Nomi實現多樣化的功能提供了有力支援。異構算力則由雲端和車端的算力共同構成，通過合理調配，為大模型的穩定運行和高效服務提供強大的計算保障。
中間層是Nomi的核心處理區域，包括多模感知大模型和認知中樞大模型。多模感知大模型通過語音、面部、觸控、手勢等多種方式感知用戶和周圍環境，收集豐富的資訊。它不僅能識別使用者的語音指令和面部表情，還能感知車輛的狀態、周圍的物品以及環境資訊，為後續的決策提供全面的數據支援。認知中樞大模型則負責深度理解用戶的請求，通過與多模感知大模型的協同工作，結合用戶的記憶、偏好和當前情境，做出準確的決策，並將決策轉化為具體的執行指令。
Nomi的交互介面具備多項突出特性。語音免喚醒功能讓使用者無需頻繁喚醒Nomi，即可直接下達指令，大幅提升了交互效率；多人自由說支援不同音區的多個人同時進行對話，打破了傳統交互的限制，使交互更加自然流暢；一句話多指令功能讓用戶能夠在一條指令中表達多個需求，Nomi可以準確識別並依次執行，極大地提高了操作的便捷性。靈動視窗則為使用者提供了豐富的資訊展示方式，通過生成式交互框架，能夠根據使用者的需求和場景，展示多樣化的內容，如地圖導航、音樂播放資訊、車輛狀態等，實現資訊的多元展示。
Nomi Agents多智慧體框架是NomiGPT技術框架的重要創新點。在這個框架中，不同的智慧體承擔著不同的功能，協同工作以滿足用戶的各種需求。知識類Agent包括用車問答和大模型百科，用車問答可以解答使用者關於車輛操作、信息查詢等方面的問題，大模型百科則利用大模型的知識儲備，為使用者提供廣泛的知識和資訊，如百科問答、出行攻略、學習創作等。生成類Agent基於大模型的能力，實現表情生成、專屬歌單生成等功能，為用戶帶來個人化的體驗。任務類Agent包括探索發現、停車助手、守衛和服務管家等。探索發現可以幫助用戶發現生活好去處，解答車外事物的疑問；停車助手能夠根據使用者的需求，尋找合適的停車場；守衛負責總結車輛的守護資訊，保障車輛安全；服務管家則基於事件自主預約服務，支援一語下單，為使用者提供便捷的服務。
圖源：蔚來汽車
這些智慧體通過記憶、規劃和行動等環節相互協作。它們具備短期記憶和長期記憶功能，能夠記住使用者的偏好和歷史操作，為個人化服務提供依據；在規劃方面，通過思考（COT）和自我反思（reflection），智慧體可以制定合理的任務執行計劃；行動環節則負責具體的操作，如車輛控制、地圖導航、媒體播放等。
未來展望：AI技術驅動下的汽車座艙變革
隨著AI技術的不斷發展，汽車行業正迎來深刻的變革。在未來，AI-OS將成為汽車智慧化的核心操作系統。AI-OS是面向AI重新設計的整車操作系統，它基於微內核構建，具備高安全、強可靠性、強即時性和高性能等特點。通過系統虛擬化平臺、自研核心中間件以及融合資源調度等技術，AI-OS能夠實現車-端-邊-雲協同，打通不同功能域，構建數據閉環，為AI應用提供理想的運行環境。
圖源：蔚來汽車
基於AI-OS的AI Car，將為用戶帶來AI原生體驗。它擁有大算力、高頻寬和低延遲的優勢，能夠快速處理大量數據，實現各種複雜的功能。同時，AI-OS支援車輛的持續進化，通過軟體升級不斷優化系統性能和功能，滿足使用者日益增長的需求。跨域融合是AI-OS的重要特性，它打破了傳統汽車系統中各個功能域之間的界限，實現了信息的共享和協同，提升了整體的智能化水準。
多模態端到端交互是未來人機交互的發展方向，也是Nomi持續進化的重點。它融合了多模感知、人機交互、決策能力和軟硬結合等要素。多模感知讓車輛能夠更全面地感知使用者和環境資訊，人機交互則致力於打造更加自然、便捷的交互方式，決策能力使車輛能夠根據感知到的資訊做出準確的判斷和決策，軟硬結合確保了系統的高效運行。這種多模態端到端交互模式，將為使用者提供更加智慧、流暢的交互體驗，使車輛能夠更好地理解和回應使用者的需求。
在AI技術的支援下，汽車座艙將成為具身智慧的最佳載體。汽車具備豐富的感測器和執行機構，能夠與周圍環境進行即時交互。通過AI技術，汽車可以實現環境感知、自主決策和行動執行，具備類似人類的智慧行為能力。例如，車輛可以根據路況和駕駛環境自動調整駕駛模式，提供更加安全、舒適的駕駛體驗。
Agent/Multi-Agent開發範式及生態將在汽車領域得到廣泛應用。Nomi的多智慧體框架就是這一範式的實踐體現，未來，隨著更多智慧體的開發和應用，汽車座艙的功能將更加豐富和個人化。不同的智慧體可以根據使用者的需求和場景，協同工作，為使用者提供全方位的服務。同時，這一生態的發展也將促進汽車行業與其他領域的融合，推動整個產業的創新發展。
汽車作為AI的最佳落地場景，具備高頻長時間陪伴和無處不在的觸點的優勢。Nomi作為AI情感夥伴，將在這一場景中充分發揮其核心價值。通過持續的技術創新和優化，Nomi將不斷提升用戶體驗，為使用者提供更加智慧、貼心、個人化的服務。
蔚來汽車將繼續圍繞NomiGPT技術框架，不斷探索和創新。通過加強與其他領域的合作，引入更多先進技術，進一步提升Nomi的智慧化水平和服務能力。同時，蔚來也將積极參與行業標準的制定，推動汽車智慧化行業的健康發展，為用戶創造更加美好的智慧出行未來。
（以上內容來自蔚來汽車數位座艙總監雷鳴於2025年3月20日在第三屆AI定義汽車論壇發表的《基於NomiGPT的車載人工智慧方案》主題演講。）