LMDrive，一種新穎的語言引導的端到端閉環(huán)自動駕駛框架。LMDrive獨特地處理和整合多模態(tài)傳感器數(shù)據(jù)與自然語言指令，使車輛能夠在現(xiàn)實的指令設置中與人類和導航軟件進行交互。

LMDrive由兩個主要部分組成：

1）一個視覺編碼器，用于處理多視圖多模態(tài)傳感器數(shù)據(jù)（相機和激光雷達），進行場景理解并生成視覺標記；

2）一個大型語言模型及其相關組件（分詞器、Q-Former和適配器），它們接收視覺標記和語言指令，以預測控制信號以及判斷給定指令是否完成。?