文/陳鋒

編輯/子夜

AI對于理想汽車意味著什么？

幾個月前的“2024理想AI Talk”上，理想汽車董事長兼CEO李想的回答是：（在愿景上）意味著未來的全部。

“電動化是上半場，智能化是下半場，但我認為，這個智能化講的不是傳統(tǒng)的軟件智能，而是真正的人工智能，這是造車往下延續(xù)的一個必經(jīng)之路。汽車將從工業(yè)時代的交通工具，進化成為人工智能時代的空間機器人�！崩钕脒@么說道。

在當下的新能源汽車市場中，理想也是在AI戰(zhàn)略上布局更早、投入更堅決的車企之一。

從2022年9月在內(nèi)部將發(fā)展AI定為戰(zhàn)略核心，到2023年初正式將這一戰(zhàn)略對外，再到去年底“2024理想AI Talk”分享了對人工智能的最新思考和戰(zhàn)略成果，理想已經(jīng)跑出了更快的AI“加速度”。

近期，圍繞AI戰(zhàn)略布局，以及AI在智能駕駛上的落地，理想汽車又迎來了一個關(guān)鍵里程碑，發(fā)布了理想汽車自動駕駛架構(gòu)——MindVLA。

圖源理想汽車官方微信公眾號

理想汽車自動駕駛技術(shù)研發(fā)負責人賈鵬表示：“就像iPhone 4重新定義了手機，MindVLA也將重新定義自動駕駛”。在理想汽車2024年第四季度及全年財報業(yè)績會上，李想表示今年計劃將MindVLA和首款純電SUV車型理想i8同時發(fā)布。

1、MindVLA，一個司機Agent究竟能做什么？

MindVLA到底是什么？

它是視覺-語言-行為大模型，是機器人大模型的新范式，非簡單的將端到端模型和VLM模型結(jié)合在一起。它所有的模塊都是全新設(shè)計的，將空間智能、語言智能和行為智能統(tǒng)一在了同一個模型里。

具體來看，3D空間編碼器通過語言模型，和邏輯推理結(jié)合在一起后，給出合理的駕駛決策，并輸出一組ActionToken（動作詞元），Action Token指的是對周圍環(huán)境和自車駕駛行為的編碼，并通過Difusion(擴散模型)進一步優(yōu)化出最佳的駕駛軌跡，整個推理過程都要發(fā)生在車端，并且要做到實時運行。

理想汽車在VLA上的率先布局，源于其對自動駕駛以及大模型前沿技術(shù)的敏銳洞察，也源于更早、更堅定的AI戰(zhàn)略。

“我們認為，基座模型到一定時刻，一定會變成VLA�！�此前，李想如此表示。在他看來，語言模型也要看三維世界，也要通過語言、認知理解三維世界，同時自動駕駛走向L4，也要有極強的認知能力。

圖源理想汽車官方微信公眾號

這意味著，未來在MindVLA模型加持下的理想汽車，能更好地感知、思考和適應(yīng)環(huán)境，成為一個能聽懂用戶說話、看懂用戶需求、幫用戶解決問題的“專職司機”。具體來說：

一來，用戶可以通過語音指令來改變車輛的路線和行為。

比如你正在陌生園區(qū)尋找超市，這時你只需要通過理想同學對車輛說“帶我去超市”，車輛將在沒有導航信息的情況下，自主漫游找到目的地；車輛在行駛的過程中，你還可以跟理想同學說“開太快了”“應(yīng)該走左邊這條路”，MindVLA都能理解并執(zhí)行這些指令。

二來，基于強大的通識能力，MindVLA能更好地識別周圍環(huán)境。

比如MindVLA能認識星巴克、肯德基等不同的商店招牌，當你在陌生地點找不到車輛時，可以拍一張附近環(huán)境的照片發(fā)送給車輛，擁有MindVLA賦能的車輛能夠搜尋照片中的位置，并自動找到你。

第三，基于空間理解和邏輯推理能力，搭載了MindVLA的車輛，“找得到”的能力也提升了。

搭載MindVLA的車型可以自主地在地庫、園區(qū)和公共道路上漫游。典型的場景是“找車位”。比如用戶在商場地庫找不到車位時，用戶只需要對著車輛說“去找個車位停好”，車輛無需依賴地圖或?qū)Ш叫畔�，并實現(xiàn)自主尋找合適的車位停下。

總結(jié)來看，在有了MindVLA賦能后，每一輛車其實都不再是單純的駕駛工具了，而是真正成了能與用戶溝通、理解用戶意圖的智能體。

2、MindVLA賦能的車輛，為何能成為“專職司機”？

MindVLA能成為一名聽得懂、看得見、找得到的專職司機，強大的功能背后在于MindVLA六大關(guān)鍵技術(shù)賦能。

MindVLA打破了自動駕駛技術(shù)框架設(shè)計的傳統(tǒng)模式，使用了能夠承載豐富語義，且具備出色多粒度、多尺度3D幾何表達能力的3D高斯這一中間表征，能幫系統(tǒng)更高效地感知、理解周圍環(huán)境，同時充分利用海量數(shù)據(jù)進行自監(jiān)督訓練，進而極大提升了下游任務(wù)性能。

圖源理想汽車官方微信公眾號

理想從0開始設(shè)計和訓練了適合MindVLA的LLM基座模型，采用MoE混合專家架構(gòu)，引入Sparse Attention（稀疏注意力），實現(xiàn)模型稀疏化，保證模型規(guī)模增長的同時，不降低端側(cè)的推理效率。

基座模型訓練過程中，理想加入大量3D數(shù)據(jù)，使模型具備3D空間理解和推理能力。為了進一步激發(fā)模型的空間智能，理想加入了未來幀的預(yù)測生成和稠密深度的預(yù)測等訓練任務(wù)。

LLM基座模型獲得3D空間智能的同時，還需要進一步提升邏輯推理能力。理想訓練LLM基座模型學習人類的思考過程，讓快思考有機結(jié)合到同一模型中，并可以實現(xiàn)自主切換快思考和慢思考。

為了把NVIDIA Drive AGX的性能發(fā)揮到極致，MindVLA采取小詞表結(jié)合投機推理，以及創(chuàng)新性地應(yīng)用并行解碼技術(shù)，進一步提升了實時推理的速度。至此，MindVLA實現(xiàn)了模型參數(shù)規(guī)模與實時推理性能之間的平衡。

MindVLA利用Diffusion將Action Token解碼成優(yōu)化的軌跡，并通過自車行為生成和他車軌跡預(yù)測的聯(lián)合建模，提升在復雜交通環(huán)境中的博弈能力。同時Diffusion可以根據(jù)外部條件，例如風格指令，動態(tài)調(diào)整生成結(jié)果。為了解決Diffusion模型效率低的問題，MindVLA采用Ordinary Differential Equation（常微分方程）采樣器，實現(xiàn)了2-3步就能完成高質(zhì)量軌跡的生成。

面對部分長尾場景，理想建立起人類偏好數(shù)據(jù)集，并且創(chuàng)新性地應(yīng)用RLHF（基于人類反饋的強化學習）微調(diào)模型的采樣過程，最終使MindVLA能夠?qū)W習和對齊人類駕駛行為，顯著提升安全下限。

與此同時，基于理想自研的重建+生成云端統(tǒng)一世界模型，MindVLA深度融合了模型的三維場景還原能力與生成模型的新視角補全，以及未見視角的預(yù)測能力，構(gòu)建了接近真實的仿真環(huán)境。

源于理想在世界模型上的技術(shù)積累與充足計算資源的支撐，MindVLA也實現(xiàn)了基于仿真環(huán)境的大規(guī)模強化學習，即真正意義上的從“錯誤中學習”。

我們了解到，過去一年里，理想自動駕駛團隊完成了世界模型大量的工程優(yōu)化，顯著提升了場景重建與生成的質(zhì)量和效率，其中一項工作，是將3D GS的訓練速度提升了7倍以上。

理想通過創(chuàng)新性的預(yù)訓練和后訓練方法，讓MindVLA的泛化能力和涌現(xiàn)特性，都更明顯了。其不僅在駕駛場景下表現(xiàn)優(yōu)異，在室內(nèi)環(huán)境也展示出了一定的適應(yīng)性和延展性。

3、自動駕駛，將被MindVLA重新定義？

從OpenAI到DeepSeek，大模型推理能力不斷更新與進化下，VLA將成為車企探索智駕能力上限的新出口。

“端到端+VLM可以解決L3，比如實現(xiàn)500公里到1000公里一次接管，讓你在車上相對輕松。但僅靠端到端實現(xiàn)不了L4�！崩钕肴绱苏f道。

他還提到，自動駕駛實現(xiàn)L4，必須使用VLA。

李想的這一判斷，正加速成為車企共識——2025年以來，VLA所呈現(xiàn)出來的強大感知、思考和適應(yīng)環(huán)境的能力，正重新定義自動駕駛，也將成為車企競逐自動駕駛的新錨點。

“VLA模型極有可能在未來兩年內(nèi)改寫智能駕駛市場的競爭格局。”最近，中國自動駕駛產(chǎn)業(yè)創(chuàng)新聯(lián)盟調(diào)研員高超如此表示。

他提到，預(yù)計2025年VLA模型的量產(chǎn)落地，將推動城區(qū)NOA滲透率提升。

高盛發(fā)布的一則自動駕駛報告也提到，到2030年，VLA模型主導的端到端方案，或?qū)⒄紦?jù)L4級自動駕駛市場60%的份額。

連線Insight也注意到，理想汽車之外，元戎啟行、小鵬、華為等玩家已經(jīng)在加速布局。市場上也有聲音認為，2025年將是“VLA上車元年”。

基于上述背景討論MindVLA，其不僅是理想在通向L4級別自動駕駛路上的一次率先搶跑，也是AI推動自動駕駛能力持續(xù)上探的一個范本。

從最核心的用戶體驗來看，MindVLA加持之下，傳統(tǒng)的駕乘關(guān)系，正加速迎來新一輪變革。過往的智駕體驗中，主駕必須監(jiān)管、監(jiān)督車輛行為，但當加持了MindVLA的車能夠真正“看得見”“聽得懂”“找得到”，疊加車本身的智駕能力不斷上探，這帶來的是人與車更絲滑的交互體驗、更舒適的駕乘生活，乃至更便捷的出行方式。

圖源理想汽車官網(wǎng)

某種程度上，這與早些年智能手機領(lǐng)域的“iPhone 4時刻”有一定相似之處——同樣是最大限度變革了人與“機器”的交互方式和交互體驗。

由此，如果說“iPhone 4”的推出重新定義了手機行業(yè)，那如今MindVLA的推出，以及后續(xù)陸續(xù)上車，實際上已經(jīng)在“重新定義自動駕駛”。

從更長遠視角來看，MindVLA所呈現(xiàn)出來的對物理世界和數(shù)字世界結(jié)合范式的探索，也有望賦予更多行業(yè)協(xié)同發(fā)展。

(本文頭圖來源于理想汽車官網(wǎng)。）

       原文標題 : 自動駕駛的“iPhone 4”時刻：理想MindVLA到底變革了什么？