理想汽車全新一代智能駕駛技術架構端到端+VLM系統正式全量推送

核心信息:

•理想汽車行業首創的全新一代雙系統智能駕駛技術架構端到端+VLM正式全量推送,標誌着理想汽車智能駕駛正式進入AI大模型時代,真正實現像人一樣思考,像老司機一樣駕駛,場景全覆蓋、行駛更舒適、通行更高效;

•基於理想汽車一直以來對安全的重視,不斷對雙系統架構進行打磨驗證,歷經千人到萬人的多輪測試,理想汽車智能駕駛訓練里程現已超過25億公里,其中NOA的里程佔比已經增長到80%。30萬以上車型AD Max訂單佔比超過70%,其中L9的AD Max訂單佔比超過80%。訓練算力達到5.39億Eflops。此外,得益於理想汽車優質的訓練數據和較高算力以及世界模型在雲端的提前部署,可實現一週兩個版本的高效迭代,領跑業內;

•OTA6.4版本智能空間新增任務大師2.0,全面接入理想同學和Mind GPT能力,大模型加持下的任務大師更智能、更全面;導航地圖升級到高德AutoSDK 750版本,功能體驗更進一步;智能電動新增理想4C/2C/優選站超充報告和充電站功率區間篩選器,高效穩定,城區高速充電無憂;

2024年10月23日,理想汽車行業首創的全新一代雙系統智能駕駛解決方案端到端+VLM(視覺語言模型),隨OTA6.4版本車機系統向理想L系列AD Max用戶和理想MEGA用戶進行全量推送,標誌着理想汽車智能駕駛正式進入AI大模型時代。本次OTA更新重點圍繞智能駕駛能力升級,智能空間和智能電動也同步更新,爲理想L系列和理想MEGA用戶帶來更全面的智能出行體驗。

智能駕駛方面,基於理想汽車一直以來對安全的重視,不斷對雙系統架構進行打磨驗證,歷經千人到萬人的多輪測試,如今理想汽車智能駕駛行駛里程已超過25億公里,超過80%用戶使用NOA駕駛,30萬以上車型AD Max訂單佔比超過70%,訓練算力達到5.39億Eflops。此外,得益於理想汽車的投入產出效率以及世界模型在雲端的提前部署,目前雙系統架構可實現一週兩個版本的高效迭代,領跑業內。此次全量版本基於最新的V4.8.6模型,增加城市場景數據配比,提升了超車場景理解能力、導航信息理解能力、障礙物檢測精度、停止線檢測能力,真正實現像人一樣思考,像老司機一樣駕駛,場景全覆蓋、行駛更舒適、通行更高效,智能駕駛產品價值再度進階。

端到端模型擬人化程度再上新臺階,駕駛習慣媲美老司機

理想汽車端到端+VLM是集成了真正意義上的One-Model結構端到端模型+全球獨創的VLM視覺語言模型,且率先將視覺語言模型VLM部署到車端芯片上的雙系統方案,從創新技術階段到實際落地,智能化、擬人化、穩定性程度持續穩步提升。

本次OTA6.4全量版本在端到端方面,新增路邊起步、U形掉頭、環島通行功能,增強了擁堵路況下的變道、繞行、避讓;複雜路口的精準選道;車輛或行人切入橫穿場景下的識別反應等能力。真正實現城區場景無斷點、複雜環島可通行、U型掉頭輕鬆過,擁堵博弈更自信、原地P擋能開啓,爲用戶提供更加便利暢快的智能駕駛體驗。

當處於路邊起步場景時,端到端模型會直接輸出軌跡,使用更強的可行駛區域規劃,不再強依賴車道關係。即使車輛不在車道中,也可以啓發式搜索出一條從路邊駛入主路的路線,實現P擋狀態下雙擊撥桿直接起步,無需在車道內啓動。得益於端到端強大的感知能力,可以更準確識別和預測周圍障礙物的行駛軌跡,從而保證路邊起步的安全性,起步過程中環顧周圍判斷危險,自主禮讓、避讓等。

端到端模型基於人類司機數據訓練,具備更強的複雜道路結構的理解能力。例如在不同的U型掉頭場景中,都能輸出合理軌跡,不再強依賴於導航信息和道路拓撲以及人工定義的規則去選擇合適的路線。更強的側向感知能力實現"看得遠、看得準",在掉頭過程中,可以更準確識別和預測對向直行車輛的行駛軌跡並做出避讓動作,在環島通行中可以更準確識別和預測旁側切入車輛的行駛軌跡並進行合理博弈,進出環島決策更果斷,出口選擇更精準。

此外,端到端還通過學習各種駕駛場景下的大量老司機數據,依賴純模型式的算法,實現更擬人的加塞和蠕行博弈動作,在遇到前車減速的情況下會直接繞行蠕行通過;在複雜路口的無保護左轉場景,精準把握車流空檔,主動選擇車流量更小的車道;由於端到端從感知到控制的時延更低,在遇到車輛或行人切入及橫穿場景時,具備快速反應、及時減速的能力,兼顧安全和通行效率。

VLM視覺語言模型實現遵守交規,通行更加合理高效

截止目前,理想汽車在端側部署的VLM視覺語言模型已擁有22億參數量,對物理世界的複雜交通環境具有更擬人的理解能力,即使面對首次經歷的未知場景也能自如應對。隨着OTA6.4版本的正式推送,VLM視覺語言模型也迎來了重大更新,通過對大量人類老司機的駕駛數據、特殊車道場景的駕駛行爲、駕駛過程中的困難場景進行學習,從而獲得遵守交規、識別道路上的中文信息並深刻理解中文語義、識別潮汐車道和通行狀態的能力,輔助端到端完成完整駕駛循環。

例如在限時公交車道,可輕鬆理解上方路牌限行信息文字和公交車道黃線識別,並對應做出執行控制;可識別潮汐車道和可變車道,以及可通行和禁行的狀態標識,並正確選擇車道通行;在丁字路口場景會主動採取防禦性減速,避免以往在丁字路口場景,入彎偏快帶來的不安全感;可識別減速帶、坑窪路面、夜晚無燈、學校路段、施工場景、主輔路進出等場景並提前減速,同時通過語音/EID/UI交互等進行告警;在主輔路/高架場景下,可識別並理解自車所在位置爲主路/輔路、高架上/下,糾正導航偏移,保障路線選擇準確性。

不僅如此,OTA6.4版本還優化了高速NOA功能,在高速&城市快速路場景,針對前方慢車,具備更早識別、果斷髮起超車動作,更高效更安全。

雙系統交互體驗全新升級,用戶體驗更加便利

除了雙系統在智能駕駛功能方面的重磅升級,用戶交互體驗方面也迎來了全新體驗。OTA6.4全量版本推送後,理想汽車端到端+VLM智能駕駛雙系統在車機交互頁面展示更加清晰全面,系統的"所見所想"實時交互,讓智駕全程可理解更安心。

系統1"快思考"的端到端模型文字彈窗相比無圖NOA版本更加豐富更加易懂,實時交互按導航、交規、效率、博弈、注意提醒等相關的執行邏輯和動作。系統2"慢思考"的VLM視覺語言模型新增圖文視窗,在特殊場景下,將前方感知到的畫面投射到頁面內,配合文案講解模型的思考過程和結果。讓用戶在實際用車過程中,對於雙系統智能駕駛功能"看得見、摸得着",切身感受到雙系統的智能與便利。

智能空間"玩轉任務大師"

智能空間方面,理想汽車始終聚焦用戶價值,以用戶體驗爲核心,通過AI人工智能加持,打造智能座艙體驗標杆。OTA6.4版本新增任務大師2.0,全面接入理想同學和Mind GPT能力,大模型加持下的任務大師更智能、更全面。

導航地圖升級到高德 AutoSDK 750版本,新增綠波車速、路口會車預警、綠燈倒計時功能,升級地圖3D視覺效果,地圖更強大。另外,當導航中發起沿途搜時,可通過觸控+語音任意指定搜索關鍵詞,針對指定類型的沿途搜具備精細篩選,例如充電站搜索時可以篩選品牌、功率,加油站搜索可以篩選品牌。出行類問答結果會在理想同學語音框中生成語音地圖卡,結圖文結合,展示更形象。此外,還新增了桌面卡片區間測速顯示、智能通勤卡開關。

高德 AutoSDK 750版本地圖界面

理想同學新增表情包和眼神追蹤,新增思考、開心、疑惑表情,在陣列mic加持下,理想同學眼神可跟隨發音人位置移動;理想同學語音模型也進行升級,離線語音接近在線效果,英文播報更自然;理想同學車控響應速度再度提升10%-20%;娛樂助手新增娛樂應用內容點播語義直達;用車助手新增OTA相關問答及操作指令。

MEGA車型新增艙內後視應用,隨時查看後排兒童/乘客情況;MEGA車型新增二排右側一鍵尊享座椅,一鍵開啓極致乘車體驗;L系列新增一三排對講,高噪場景下依然輕鬆對談。

理想MEGA二排尊享座椅

智能電動新增超充報告和充電站功率區間篩選器

智能電動方面,隨着理想超充站越來越多,超充報告自然也不能落下。新增理想4C/2C/優選站超充報告。充電完成後自動生成超充報告,純電/增程車型均可查看本次充電詳情,充電時長、里程、峰值功率、平均功率等信息一目瞭然。可一鍵發送至手機,查看、保存、分享一氣呵成;

同時新增充電站功率區間篩選器,篩選調節更直觀,方便查找合適的充電站,高效穩定,實現城區、高速充電無憂。

超充報告

充電站功率區間篩選器

100萬輛車對智能駕駛來說是一個非常關鍵的指標,近日,理想汽車已完成第一百萬輛交付。同時,得益於理想汽車長期堅持核心技術自研,不斷加碼研發投入,這一次,理想汽車行業首創的全新一代智駕解決方案端到端+VLM也迎來了全量推送的重磅里程碑時刻。自此,理想汽車智能駕駛正式邁入AI大模型時代,將爲百萬理想用戶帶來更舒適、更全面、更高效的智能駕駛出行體驗。未來,理想汽車還將在智能駕駛、智能電動、智能空間等方面全方位持續發力,向着成爲全球領先的人工智能企業,爲更多用戶創造移動的家、創造幸福的家而不斷努力。