近日，長(zhǎng)安汽車(chē)與重慶郵電大學(xué)聯(lián)合團(tuán)隊(duì)在CVPR自動(dòng)駕駛國(guó)際挑戰(zhàn)賽“Driving with Language”賽道上獲得獎(jiǎng)金最高的創(chuàng)新獎(jiǎng)。本次獲獎(jiǎng)充分展示了長(zhǎng)安汽車(chē)在AI大模型和智能駕駛領(lǐng)域的優(yōu)秀研發(fā)實(shí)力，預(yù)示著長(zhǎng)安汽車(chē)正在加速發(fā)力智能駕駛新賽道，將全面開(kāi)啟長(zhǎng)安汽車(chē)AI大模型智駕的新時(shí)代。
作為國(guó)際公認(rèn)的自動(dòng)駕駛頂級(jí)賽事，CVPR自動(dòng)駕駛國(guó)際挑戰(zhàn)賽涵蓋了多個(gè)前沿科技領(lǐng)域賽道，獲得了國(guó)際范圍內(nèi)科研和產(chǎn)業(yè)界的廣泛關(guān)注。今年，挑戰(zhàn)賽特別設(shè)立了“Driving with Language”賽道，吸引了來(lái)自14個(gè)國(guó)家和地區(qū)的152支隊(duì)伍參賽，其中包括劍橋大學(xué)、慕尼黑工業(yè)大學(xué)、浙江大學(xué)等知名高校團(tuán)隊(duì)，以及英偉達(dá)、AMD、騰訊、長(zhǎng)安等領(lǐng)先企業(yè)隊(duì)伍，是本屆賽事中參賽隊(duì)伍最多的賽道。
此次長(zhǎng)安汽車(chē)獲獎(jiǎng)方案提出的BeVLM算法，是行業(yè)首個(gè)將智能駕駛BEV（鳥(niǎo)瞰圖視角）感知和大語(yǔ)言模型（LLM）進(jìn)行端到端融合，并通過(guò)思維圖（GoT）進(jìn)行上下文理解增強(qiáng)，在公開(kāi)數(shù)據(jù)集上取得優(yōu)異成績(jī)的算法工作。
近兩年，以ChatGPT為代表的LLM技術(shù)迅猛發(fā)展，在跨領(lǐng)域知識(shí)理解和復(fù)雜任務(wù)推理方面涌現(xiàn)出非凡的能力，解決了自然語(yǔ)言理解領(lǐng)域的模型泛化問(wèn)題，推進(jìn)人工智能應(yīng)用進(jìn)入爆發(fā)期。當(dāng)前，自動(dòng)駕駛系統(tǒng)面臨的一個(gè)重要挑戰(zhàn)是缺乏對(duì)通用世界知識(shí)的理解和推理能力，難以應(yīng)對(duì)各種復(fù)雜和罕見(jiàn)的駕駛情境。如何將LLM的能力與自動(dòng)駕駛系統(tǒng)相結(jié)合，已成為業(yè)界關(guān)注的焦點(diǎn)。
經(jīng)過(guò)為期兩個(gè)月的激烈競(jìng)賽，全球152支隊(duì)伍累計(jì)提交了978次結(jié)果。最終經(jīng)組委會(huì)評(píng)審，長(zhǎng)安汽車(chē)與重慶郵電大學(xué)聯(lián)合團(tuán)隊(duì)提出的BeVLM方案在眾多參賽方案中脫穎而出，榮獲賽道最高獎(jiǎng)（獎(jiǎng)金最多）——?jiǎng)?chuàng)新獎(jiǎng)。BeVLM方案創(chuàng)新地將BEV感知和LLM進(jìn)行多模態(tài)端到端融合訓(xùn)練，使BEV特征與LLM的語(yǔ)言特征對(duì)齊，從而賦予LLM理解車(chē)身周?chē)h(huán)境元素空間關(guān)系的能力。該方案采用思維圖技術(shù)，建立感知、預(yù)測(cè)、決策的邏輯鏈條，使大語(yǔ)言模型能夠模擬人類(lèi)駕駛的推理過(guò)程，完成自動(dòng)駕駛?cè)蝿?wù)。在所有提交結(jié)果的最終評(píng)分榜單中，BeVLM取得了排名第二的成績(jī) 0.7759，與第一名的0.7799同列0.775~0.780區(qū)間，是唯二的總分高于0.775的方案。
長(zhǎng)安汽車(chē)積極響應(yīng)國(guó)家AI+戰(zhàn)略指引，積極擁抱AI大模型在智能駕駛領(lǐng)域的技術(shù)范式變革。由長(zhǎng)安汽車(chē)智能駕駛首席技術(shù)官陶吉博士籌備組建的智駕AI大模型技術(shù)研發(fā)團(tuán)隊(duì)，目前已啟動(dòng)基于“端到端”大模型和“多模態(tài)”大模型的新一代智能駕駛技術(shù)方案的攻堅(jiān)工作。
據(jù)陶首席介紹，研發(fā)團(tuán)隊(duì)攻克由大數(shù)據(jù)和大模型驅(qū)動(dòng)的AI原生智能駕駛核心技術(shù)的突破，致力于為用戶(hù)提供更安全、更舒適、更智能的駕駛體驗(yàn)。長(zhǎng)安汽車(chē)的智駕系統(tǒng)將會(huì)是一個(gè)具備全球競(jìng)爭(zhēng)力的系統(tǒng)。
據(jù)悉，長(zhǎng)安汽車(chē)已逐步將自動(dòng)駕駛技術(shù)，應(yīng)用于量產(chǎn)搭載，實(shí)現(xiàn)了先進(jìn)技術(shù)向?qū)嶋H生產(chǎn)力的轉(zhuǎn)化。長(zhǎng)安汽車(chē)總裁王俊介紹，長(zhǎng)安汽車(chē)正在加速智能平權(quán)，在未來(lái)長(zhǎng)安智駕汽車(chē)非常有競(jìng)爭(zhēng)力，讓消費(fèi)者逐步享用技術(shù)創(chuàng)新帶來(lái)的便捷出行，推動(dòng)智駕不斷迭代。
本次獲獎(jiǎng)，充分展示了長(zhǎng)安汽車(chē)在智能駕駛大模型領(lǐng)域的快速行動(dòng)和領(lǐng)先地位，也標(biāo)志著長(zhǎng)安汽車(chē)做好了進(jìn)入AI大模型和智能駕駛3.0技術(shù)競(jìng)爭(zhēng)時(shí)代的準(zhǔn)備。
