而小马智行的招股书，实际上也对自动驾驶技术做了一次完整又详实的科普。自動駕駛行業被引爆的同時，樓教主的好消息將近。
在納斯達克完成遞交招股書後，小馬智行敲鐘進入倒計時。
一支天才雲集的隊伍，創業8年，在自動駕駛領域打造出一家明星獨角獸，靠的還是紮實的業務能力和領先的技術。
而小馬智行的招股書，實際上也對自動駕駛技術做了一次完整又詳實的科普。
根據招股書，小馬智行的自動駕駛系統，可以拆解爲幾部分，下面來逐一了解。
傳感器
自動駕駛汽車，想像人類司機一樣行駛，就需要像人類司機一樣，清楚地感知到路況，這就涉及到傳感器：
激光雷達
激光雷達，顧名思義，是使用激光束探測汽車周圍的物體，在各種光照條件下，可以實現高分辨的距離感應。
多個位置部署激光雷達，可以在各種環境和光照條件下，觀測到汽車、行人、交通信號燈等等，實時生成周圍環境的三維圖像。
攝像頭
多個高精度的攝像頭，可以讓車輛更全面、全方位地觀察周圍環境，沒有重大盲點，能從中分辨、識別出障礙物，也能讓交通狀況的圖景範圍也更廣泛。
雷達
雷達是通過發射無線電波的方式，實現車輛的距離與速度探測，在雨、雪、霧等惡劣天氣時，相比起激光雷達和攝像頭，毫米級雷達表現更出色。
小馬最新第六代自動駕駛汽車模型中，採用的就是以上三種結合的多傳感器方法，配備了7 個激光雷達、11 個高分辨率攝像頭和 3 個遠程雷達，三種傳感器優劣勢互補，可以更有效觀測到環境。
但傳感器組件中，有單一傳感器出現故障該怎麼辦？
在這個時候，除了感知環境，汽車的準確定位也是重要數據，所以小馬還採用了GNSS 天線模組、IMU慣性測量單元等設備。
GNSS / IMU
高精度全球導航衛星系統 (GNSS) ，和慣性測量單元 (IMU)，是和高清地圖和定位模塊協同工作的，可以確定汽車的準確定位。
端到端技術的軟件堆棧
在招股書中，小馬智行特別強調了自己的自動駕駛技術棧整體可以看成一個「大腦」，通過一整套軟件模塊和算法來控制車輛，這個大腦或者說AI司機，本身不受車輛平台種類限制，集成各種傳感器類型和算法模塊。
小馬還着重強調端到端的可解釋性，所以採用分段式模式，仍然包含感知、預測、規控、模擬等等模塊，下面來一一詳解：
端到端驅動閉環演進
首先來看小馬的端到端模型，通過融合可學習度量空間，模擬車輛在真實世界的行爲，並且通過智能標記和特徵提煉技術，把LLM的知識庫遷移到端到端模型中，擴充原本有限的資源，方便系統處理複雜的駕駛條件。
而沒做標記的數據，會通過自監督解釋模型，繼續訓練世界模型和端到端模型，解釋端到端的推理結果，包括感知結果、預測結果、做出的具體決策和詳細的場景描述等等。
這種全面的可解釋性，可以更深入地了解自主系統的功能和決策過程。
在這個過程中，爲了保障適應性和準確性，小馬智行加入了可學習優化模型，集成基於模型方法和優化方法，既具備數據驅動的特性，也保留了可控性。
另外，想要真正實現L4級的系統，只有當前和過去的數據預測未來是不夠的，真正的挑戰，還是在於如何與現實世界的頻率相匹配，模擬長尾場景和行爲，以實現開發的不斷迭代。
因此，需要創建一個高保真的環境，方便模擬現實場景。這就是小馬的閉環模擬引擎，PonyWorld。
PonyWorld在視覺細節和動態響應方面，精確複製了真實世界條件，這可以讓系統突破功能的界限，模擬關鍵場景，比如突然出現的孩子、未蓋的沙井，或前方車輛掉落的碎片等等。
這個系統會使用過去事件的記錄和既定的未來事實，對各種未來場景進行合理的推斷。
當自動駕駛汽車的未來行動與這些記錄一致時，真值條件生成模型會如實反映記錄中的未來；相反，當未來行動偏離記錄時，模型會重建與記錄不同的關鍵行爲特徵，以便保持可信度。
感知與預測
車輛自動駕駛的過程，需要「虛擬駕駛員」能夠「看到」汽車周邊的環境，並且及時做出反應，這就需要具備感知和預測能力。
小馬智行的感知和預測模塊，採用的都是多模態、多任務和快速調整的大型Transformer框架。
在感知方面，採用的是快速學習技術，集成點雲、圖像和電磁響應等各種模態的輸入，可以基於單一模型，準確檢測各種不同類型的物體，並且大幅降低延遲。
通過處理傳感器組件收集的數據，感知模塊自動完成物體的分割、檢測、分類、跟蹤，以及場景的理解。
出現極端、惡劣天氣，肉眼難以看清時，這種能力讓自動駕駛車輛在行駛過程中，依然能無障礙感知環境，因此會比人類駕駛員表現得更好。
爲了進一步提升感知模塊的性能，感知模塊中加入了深度學習技術處理數據，並且利用啓發式方法，也就是人類知識和常識，在決策層添加確定性數學公式和規則，以此彌補深度學習技術中，模擬與現實之間的差距。
在預測方面，預測模塊採用多模態深度學習模型，融合了感知觀察和人類常識的信息。
這些常識，是從交通規則和人爲設計的提示中提取，以知識圖譜的形式表示，而Transformer結構，會捕獲不同模態之間的相關性。
根據一系列數據，預測模塊會給出判斷。這些數據同樣圍繞傳感器數據展開，又結合了感知模塊的輸出數據，以及類似道路代理的歷史決策經驗。
考慮到可能出現意外情況，在記錄常規數據以外，數據集還針對每種情況，給預測模塊添加了額外的可學習和針對性提示。
預測模塊和感知模塊類似，也採用了深度學習和啓發式方法，爲每個觀測到的道路代理提供一條預測軌跡，並且會計算出發生的概率，爲其他模塊的工作提供參考。
規劃與控制
成功感知並預測數據之後，就要根據輸入的數據，進行規劃和執行操作了。
關於規劃和控制模塊，小馬是靠AI來創建的，這裏面涉及到博弈論的方法。
在模擬和分析 車輛與其他道路主體間的相互作用時，舉個例子，如果自動駕駛汽車和有人駕駛汽車同時接近十字路口，博弈論會幫助自動駕駛車輛，選擇最佳路線、平穩加減速，或者適當變道，確定一個最佳的行動決策，很適用於高峰時段、擁堵道路的場景。
同時，爲了讓駕駛行爲和人類更接近，決策器中使用了強化學習人類反饋 (RLHF) 的調整機制。
利用人類貼標員，獲取在各種情況下，有關自動駕駛系統的安全性、舒適性和效率的反饋，這些反饋會用於訓練獎勵函數，讓這個函數在更大的數據集上調整深度學習決策。
硬件以及整車集成
了解完軟件，接下來就是自動駕駛的汽車硬件，以及如何把每一部分整合在一起了。
計算系統
從傳感器收集到的數據，是由計算系統處理，通過算法實時運行來實現自動駕駛的。而車載計算單元，就負責處理傳感器收集的數據。
小馬智行的自動駕駛計算單元（ADCU），運用的是異構計算架構，包括中央處理單元（CPU）、圖像處理單元（GPU），現場可編程門陣列（FPGA）和微控制器單元（MCU），是一個完全汽車級的計算平台，可以方便定義完全適配自動駕駛應用的計算架構。
利用ADCU計算平台，小馬可以通過微調，保持性能和資源的消耗平衡。如果出現新技術，ADCU也可以更輕鬆地進行調整和升級，具備很強的靈活性和可擴展性。
車輛集成
自動駕駛的最後一環，就是把每一部分系統，集成到車輛中。
小馬智行的解決方案，是建立在汽車級硬件和軟件工具鏈的基礎之上，並加入了監管系統。
在自動駕駛軟件堆棧和車輛平台之間，通過可靠的接口，實現車輛平台準確地接收並執行控制命令。
各個模塊當中，車載系統提供了統一的應用程序交互接口（API），以便數據在整條傳輸路徑上，能夠保持穩定和順暢。同時，車載監控系統，也能及時發現各模塊中可能出現的故障。
還有最重要，也是最後的一重保障，就是安全冗餘。
在小馬的汽車模型中，冗餘平台是通過冗餘傳感器、計算系統、電源以及執行器來保障安全的，這樣可以避免出現單點故障的情況。
舉個例子，在計算系統中，不同的處理器，會相互交叉檢查，並充當彼此的備份系統，如果發生錯誤，GPU上運行的某些算法就會回退到CPU。
再舉個例子，如果主電源系統發生故障，備用電源系統將無縫接合，確保計算系統的持續供電，保障車輛正常運行。
這個過程中，冗餘有三層：正常運行模式、降級安全模式、最小風險條件模式。
降級模式和最小風險條件模式，是在物理上獨立的冗餘平台上運行，其中包括冗餘傳感器和計算。
如果在正常運行期間發生故障，平台就會檢測到這些故障，並將系統轉換爲降級安全模式，讓車輛行駛到安全位置。
如果發生降級安全模式也無法解決的嚴重故障，就會觸發最小風險條件模式，讓車輛至少可以在車道上停車，不會發生碰撞。
最後，作爲這一切的載體——自動駕駛汽車，小馬的選擇是與主機廠合作，共同設計、測試汽車，並且一起建立集成的精簡裝配線。
目前小馬智行推出的自動駕駛車輛，是和豐田合作開發的，更新到了第六代，2023年7月就開始部署面向公衆的機器人出租車服務。
最新的進展是，第七代自動駕駛軟硬件系統，已經進入了研發驗證階段，就在11月2日，小馬智行和北汽新能源簽約，第七代系統將搭載極狐阿爾法T5，2025年就會完成並推出首批極狐阿爾法T5的Robotaxi車型。
如今，自動駕駛行業玩家都在競速，商業化落地，誰會是第一個呢？
