辰韜資本端到端研究報告發布，自動駕駛技術路線迎來鉅變
車東西（公衆號：chedongxi）作者 ｜ 邇言編輯 ｜ 志豪
車東西6月14日消息，日前，辰韜資本聯合南京大學上海校友會自動駕駛分會、九章智駕、寶通科技共同主辦，招商銀行、雲道資本協辦的“端到端引領自動駕駛新時代高峰論壇暨行業研究報告發佈會”活動在上海成功舉辦。200多位產業專家、投資機構、研究機構及智能駕駛頭部企業的代表共聚一堂，探討端到端這一革命性技術爲自動駕駛行業帶來的挑戰和機遇。
會上，辰韜資本、南京大學上海校友會自動駕駛分會、九章智駕三方聯合重磅發佈2024年度《端到端自動駕駛行業研究報告》（以下簡稱《報告》）。
《報告》從端到端自動駕駛的基本概念、參與者、發展驅動力、落地挑戰和未來展望進行全方位的分析，嘗試爲行業構建基礎共識的認知和討論基礎，促進端到端自動駕駛行業更加蓬勃地發展。
此《報告》也是辰韜資本繼2020年以來，發佈關於礦山、港口、環衛、末端配送、線控底盤等自動駕駛賽道研究報告之後的第6份行業最新研究成果。
值得注意的是，圓桌討論環節，參會嘉賓也對未來大模型演進等話題展開了火熱探討，大多數嘉賓認爲，未來3-5年Transformer還是有很大的發展空間的，但其他模型的架構也有很大探索空間。
一、智駕公司90%都在搞端到端 大模型助力端到端研發
自動駕駛技術的演進隨着AI和大模型技術的發展進入全新階段，“端到端自動駕駛”作爲其中最重要的一項技術演進趨勢近來成爲自動駕駛行業關注的焦點。在端到端自動駕駛領域，無論是產業界、學術界和資本市場，里程碑事件都有發生，各大龍頭企業也紛紛佈局這一核心關鍵技術路線。
《報告》對30餘位自動駕駛行業一線專家的調研顯示，其中90%表示自己所供職的公司已投入研發端到端技術，端到端已逐漸成爲自動駕駛行業的共識。
《報告》創新性地提出了一套可供參考的概念定義和術語體系，對端到端的基本概念進行了界定。《報告》顯示，早期，端到端的核心定義是“從傳感器輸入到控制輸出的單一神經網絡模型”，近年來，端到端的概念有了更大範圍的延展。本報告認爲，端到端的核心定義標準應爲：感知信息無損傳遞、可以實現自動駕駛系統的全局優化。
基於以上定義標準，結合自動駕駛系統中AI的應用程度，《報告》將自動駕駛技術架構分爲四個階段，分別是感知“端到端”、決策規劃模型化、模塊化端到端、以及One Model端到端，其中，後兩個階段符合前述端到端的定義標準。
同時，本報告也對端到端與大模型、世界模型、純視覺傳感器方案等常常容易被混淆的相關概念的區別與聯繫做了辨析。
該報告顯示，就端到端與大模型而言，大模型更強調泛化能力，端到端更強調可靠性，大模型的推理能力對於端到端會有啓發。
而世界模型這一個概念，則強調生成方面的能力，可以提供訓練數據，並且也可以成爲實現one model的方式。
而純視覺傳感器方案之所以常常會與端到端聯繫在一起，是因爲端到端可以適應各種傳感器，視覺攝像頭目前裝配量最大，而端到端需要大量數據，所以兩者會被聯繫在一起。
二、端到端落地面臨挑戰 模塊化端到端明年上車
除了界定相關概念外，《報告》還揭示了端到端的落地也面臨諸多挑戰，包括技術路線、數據和算力需求、測試驗證、組織資源投入等。
如技術路線方面，端到端技術路線還未形成最佳實踐，技術路線存在分歧。
數據方面，在端到端技術架構下，訓練數據的重要性得到前所未有的提升，其中，數據量、數據標註、數據質量和數據分佈的相關問題都可能成爲限制端到端應用的挑戰。
訓練算力方面，端到端訓練算力需求急劇提升，行業頭部玩家均儲備千卡~萬卡級訓練算力。
測試驗證方面，現有測試驗證方法不適用於端到端自動駕駛，行業亟需新的測試驗證方法論和工具鏈。
組織資源投入方面，端到端需要組織架構重塑，也需要將資源投入傾斜到數據側，對現有模式提出挑戰。另一方面，雖然有觀點認爲車端算力不足和可解釋性問題是端到端落地的限制因素，但本報告提出相反結論並進行辨析。
《報告》展望，基於自動駕駛行業頭部玩家紛紛提出端到端量產規劃，預計模塊化端到端系統將於2025年開始上車，這將帶動上游技術進步、市場和產業格局演變。
在技術上，端到端的落地會推動其依賴的上游工具鏈、芯片等加速進步。
市場端，端到端帶來的自動駕駛體驗提升，將會帶來高階輔助駕駛滲透率的提升。
由於其強泛化性，端到端也可能驅動自動駕駛跨地理區域、跨國家、跨場景的應用。產業格局方面，端到端使數據和AI人才的重要性進一步提升，可能催生新的產業分工和商業模式。
此外，《報告》還對端到端自動駕駛與通用人形機器人進行延展分析。自動駕駛在發展的早期借鑑了很多機器人行業的積累，包括感知算法、規劃算法、中間件和傳感器等多個層面。
近年來，自動駕駛技術和產業成熟度提高，其中端到端自動駕駛提供了一套已驗證、可量產的基於數據驅動的AGI技術範式，對於通用人形機器人有較強的借鑑作用。
《報告》認爲自動駕駛和通用人形機器人已經成爲物理世界AGI發展最重要的兩個應用領域，比較二者在落地之路上遇到的問題和解決路徑，可以給另一個領域更大的啓發。
三、Transformer潛力很大 但是很難一統天下
除了發佈《報告》外，在圓桌討論環節，衆多參會嘉賓圍繞Transformer以及未來模型演進、端到端的滲透對於數據類型的影響等話題進行探討。
對於Transformer以及未來模型演進，南京大學人工智能學院副院長戴新宇表示，Transformer缺點在於訓練能耗大，乘法運算多，可解釋性一般，雖然有思維鏈但沒有很好的推理能力。目前關注神經符號模型，量子計算機等架構是否是Transformer以外的有潛力的模型。未來3-5年Transformer還是有很大的發展空間的，但是之外也有值得學術界探索的模型。
▲圍繞“大模型和物理世界AGI的發展趨勢”的圓桌討論
零一汽車智能駕駛合夥人，前圖森感知負責人王泮渠表示，Transformer通用性和泛化性很強。未來Transformer潛力很大但是不會一統天下。現在Transformer擅長大模型和決策，而其他模型的架構有很大的探索空間。
智平方科技產品副總裁張鵬則表示，Transformer是當前比較有效且多種模態可以統一輸出的基礎。Diffusion或者3DGS已經在細分領域應用了。可以從兩個點去看：Space（足夠低的成本做到可控的規模，上限是否更大）和Stability。更多優勢在於落地和場景化的時候以什麼樣的成本達到什麼樣的上限，Transformer可能只是一個過程。
而弘暉基金投資總監周崇傑則表示，Transformer和人腦比較，推理效率和算力利用都有缺陷。他認爲，Transformer現在有很驚豔的表現，未來無論是基於Transformer的優化或者混合模型或者新的架構模型，都會有一些新的東西出來，架構在不斷演進變化。
而當問到，端到端的滲透對於數據類型會產生怎樣變化，以及如何應對時，輝羲智能市場副總裁劉奇表示，現在的端到端更多是感知側端到端，採集端更多是標註的工作量。感知到規控這部分的端到端更多是人類老司機的動作和決策，和現在會有明顯的不同。
▲圍繞“端到端對數據的需求和挑戰”的圓桌討論
而愷望數據解決方案總監黃玉慶則表示，老的數據要求的場景比較單一，複雜度低。深度學習的路線要求的場景分佈會大很多，數據集的多樣性要求更高。對於公司來說，採集的技術路線會升級，數據處理放在前端，加大邊採邊標註的投入。數據採集以後清洗，增加自動化標註提高效能。泛化場景，在數據量不大的情況下如何滿足客戶需求也會加大投入。