太平洋科技 出行

在基于GPT-3.5的ChatGPT問世之前，OpenAI作為深度學(xué)習(xí)領(lǐng)域并不大為人所看好的技術(shù)分支玩家，已經(jīng)在GPT這個(gè)賽道默默耕耘了七八年的時(shí)間。

好幾年的時(shí)間里，GPT始終沒有跨越從“不能用”到“能用”的奇點(diǎn)。轉(zhuǎn)折點(diǎn)發(fā)生在2020年6月份發(fā)布的GPT-3，從這一版本開始，GPT可以做比較出色的文本生成工作了，初步具備了“智慧涌現(xiàn)”能力。

再后來，OpenAI在GPT-3.5里加入了個(gè)人機(jī)交互界面，做了聊天機(jī)器人ChatGPT，迅速席卷全球，在短短的兩個(gè)月的時(shí)間里，用戶數(shù)量迅速突破1億大關(guān)。

圖片來源：英偉達(dá)

海外的谷歌、Meta、特斯拉，國(guó)內(nèi)的百度、華為、阿里、字節(jié)這些互聯(lián)網(wǎng)巨頭紛紛加碼在GPT大模型上的投入，再后來，本土電動(dòng)車企形形色色的GPT也陸續(xù)問世了。

自2023年第四季度開始，問界M9上的盤古大模型、理想OTA5.0里的Mind GPT，蔚來汽車上的NOMI GPT、小鵬XOS天璣系統(tǒng)里的XGPT陸續(xù)上車，不僅幫你寫詩，還能幫你做事。

那么，這些車載GPT是如何橫空出世的，它們又將為汽車上帶來何種變化呢？

大模型上車：開源 VS 閉源

早期，沒有在大模型方面布局的本土車企是借助國(guó)內(nèi)外開源的基礎(chǔ)大模型自研GPT，這應(yīng)該也算是業(yè)內(nèi)公開的秘密。原因無他，真正自研大模型實(shí)在太消耗資源了。

大模型的賽道非常卷。為了縮短訓(xùn)練時(shí)間，且提高訓(xùn)練效率，OpenAI、谷歌、Meta這些巨頭的基礎(chǔ)大模型都是投入大幾千張甚至幾萬張A100、H100顯卡訓(xùn)練出來的。

1萬張A100大約對(duì)應(yīng)3.12E的訓(xùn)練算力。公開信息顯示，國(guó)內(nèi)頭部車企里，華為用在汽車業(yè)務(wù)上的訓(xùn)練算力3.5E，百度為2.2E，蔚小理的算力規(guī)模都在1E左右。

在一次訪談中，馬斯克透露過xAI的Grok（據(jù)說要上特斯拉的車）訓(xùn)練投入了8000張A100。從GPU小時(shí)來算，且不說這些閉源的參數(shù)量奔著萬億級(jí)別而去的大模型，即便那些開源大模型，其消耗的GPU資源都是不可承擔(dān)之重。

據(jù)悉，Meta開源的LLaMA-2-70B的大模型，使用了2000個(gè)英偉達(dá)A100訓(xùn)練，耗費(fèi)了172萬個(gè)GPU小時(shí)；地表最強(qiáng)開源大模型Falcon-180B，使用了4096個(gè)A100 GPU，耗費(fèi)了約700萬 GPU小時(shí)進(jìn)行訓(xùn)練。

來源：馬斯克訪談

無論從什么角度，不以大模型為主業(yè)的本土車企，都不可能為這個(gè)賽道投入這么巨大的資源，而且，幾萬張A100/H100（百億美金）遠(yuǎn)不是這些現(xiàn)在基本上還無法盈利、只能依靠資本市場(chǎng)輸血的車企所能承擔(dān)的了的。

所以，采用開源大模型自研可滿足車用場(chǎng)景的GPT，成了本土車企的捷徑，也幾乎是唯一可行的路徑。

只有少數(shù)巨頭強(qiáng)勢(shì)賦能的車企，才會(huì)采用了自研基礎(chǔ)大模型的方案。比如，華為系的問界、智界和百度系的極越，真要算起來，華為的盤古大模型和百度的文心一言問世的時(shí)間也不短了。

稍許遺憾的是，這兩個(gè)大模型至今沒有產(chǎn)生破圈效應(yīng)，GPT上車的時(shí)間也并沒有比蔚小理早很多。

這背后有一系列復(fù)雜的原因。

一方面，正如華為高管在2023年的華為開發(fā)者大會(huì)上所說的那樣，“我們的大模型不做詩，只做事”，因?yàn)橐恢弊鲋鴗o B的生意，沒有to C，所以沒有被大眾所熟知。

另一方面，盤古大模型和文心一言之前基礎(chǔ)能力不足，基礎(chǔ)能力的不足來自于參數(shù)規(guī)模比較小、訓(xùn)練數(shù)據(jù)和訓(xùn)練時(shí)間不足。

必須承認(rèn)，直到OpenAI的ChatGPT問世之后，整個(gè)行業(yè)及業(yè)界專家才真正接受了比例定律Scaling Law，建立了可以通過擴(kuò)大模型規(guī)模、增加訓(xùn)練數(shù)據(jù)量、延長(zhǎng)訓(xùn)練時(shí)間實(shí)現(xiàn)模型性能持續(xù)提升的“信仰”。

信仰不足、意見不一是之前不夠大的大模型基礎(chǔ)能力不足，從而沒有產(chǎn)生破圈效應(yīng)的重要原因。

即便認(rèn)可了比例定律的第一性原理，要從千億參數(shù)邁進(jìn)到萬億參數(shù)，也需要對(duì)模型設(shè)計(jì)做大量的科研工作，才能解決參數(shù)數(shù)量級(jí)提升引發(fā)的梯度爆炸等一系列問題。

無論如何，雖然同是率先將大模型技術(shù)搬上汽車的第一陣營(yíng)，華為（問界和智界）/百度（極越）的大模型上車路徑和蔚小理還是有著明顯的區(qū)別，其本質(zhì)的區(qū)別就在于前兩家的基礎(chǔ)大模型來自自力更生，而新勢(shì)力的基礎(chǔ)大模型很大可能來自于業(yè)界的開源方案。

專心做訓(xùn)練也是一種自研

除了參數(shù)量達(dá)到1800億的Falcon-180B（去年9月份開源），開源基礎(chǔ)大模型的參數(shù)一般都在幾百億級(jí)別。這是巨頭的游戲。

扎克伯格的Meta是開源大模型的主要貢獻(xiàn)者，它們開源的LLaMA-70B的參數(shù)在700億左右。

另一玩家是谷歌，也許是意識(shí)到了無法打敗OpenAI，帶著攪局或者不想讓OpenAI壟斷基礎(chǔ)大模型市場(chǎng)的心思，谷歌正加快開源的動(dòng)作，它最近開源了兩個(gè)大模型——Gemma 2B和7B，可分別在端側(cè)和云端部署。

根據(jù)這些巨頭宣布開源大模型的時(shí)間做一個(gè)推論，蔚小理等本土車企們用的開源大模型的參數(shù)量大概在千億左右。

這些開源基礎(chǔ)大模型提供的不只是模型結(jié)構(gòu)的細(xì)節(jié)，更重要的是，它們經(jīng)過了萬億Token的訓(xùn)練，模型里的權(quán)重參數(shù)已經(jīng)是完成度很高的可用狀態(tài)。對(duì)于基于開源大模型做訓(xùn)練的車企而言，要做的工作是尋找或建立能夠適用于車用場(chǎng)景的數(shù)據(jù)集，再進(jìn)行微調(diào)訓(xùn)練。

在開源基礎(chǔ)大模型上面做定制，從而訓(xùn)練出微調(diào)大模型的過程，就好比學(xué)霸上完了高中，并將他腦袋里成熟的神經(jīng)網(wǎng)絡(luò)復(fù)刻到你的腦袋里，然后你再去上大學(xué)選個(gè)專業(yè)，在這個(gè)專業(yè)領(lǐng)域單兵突進(jìn)，繼續(xù)深造。

比如，現(xiàn)在有專門面向醫(yī)療行業(yè)、財(cái)稅行業(yè)的大模型，同樣是在基礎(chǔ)大模型之訓(xùn)練出來的。

再比如，一小撮程序員訓(xùn)練出來志在消滅大多數(shù)程序員的軟件開發(fā)者大模型——GitHub Copilot，和最近讓碼農(nóng)們聞風(fēng)喪膽的Davin。

圖片來源：GitHub

和華為系、百度系相比，蔚小理的GPT在參數(shù)量上也許小了一個(gè)數(shù)量級(jí)，但這并不意味著NOMI GPT們?cè)谲囕d場(chǎng)景下的專項(xiàng)能力一定會(huì)低于華為/百度系車企，幾百億參數(shù)的大模型足以將文本形式的所有人類知識(shí)壓縮進(jìn)去。

再者，加大訓(xùn)練數(shù)據(jù)規(guī)模同樣可以提升大模型的表現(xiàn)，可以認(rèn)為，數(shù)據(jù)集的作用并不亞于模型參數(shù)。

在2023年的微軟Build大會(huì)上，Andrej Karpathy大神在闡釋參數(shù)量和Token數(shù)量對(duì)大模型性能的影響時(shí)，對(duì)2020年問世的GPT-3和2023年問世的LLaMA-65B做過對(duì)比。

圖片來源：微軟Build大會(huì)

2020年發(fā)布的GPT-3的參數(shù)量為1750億，訓(xùn)練Token數(shù)量為3000億（隨著時(shí)間的增加，會(huì)繼續(xù)追加訓(xùn)練數(shù)據(jù)規(guī)模），LLaMA-65B的參數(shù)量為650億，用于訓(xùn)練的Token數(shù)量介于1萬億-1.4萬億之間。

GPT-3參數(shù)量更大，表現(xiàn)卻不及LLaMA-65B，背后的主要原因就在于LLaMA進(jìn)行了更加充分的訓(xùn)練。

在訓(xùn)練上，其他玩家也可以站在巨人的肩膀上，向訓(xùn)練完備、表現(xiàn)出色的大模型投喂更多的訓(xùn)練語料。而且，在一定程度上，語料庫也是現(xiàn)成的。

過去幾十年，除了尋求如何設(shè)計(jì)更加可泛化的推理機(jī)制，設(shè)計(jì)可通向人類通用能力和常識(shí)的神經(jīng)網(wǎng)絡(luò)和大模型，人工智能研究人員還把大量的精力放在了孜孜不倦地構(gòu)建包含大量常識(shí)語料庫的知識(shí)庫上面。

比如，用于訓(xùn)練和評(píng)估用于檢測(cè)機(jī)器釋義文本模型的Identifying Machine-Paraphrased Plagiarism、通用文本分類數(shù)據(jù)集Wikipedia、Reddit 和 Stack Exchange、QA 數(shù)據(jù)集Quoref 、 基于文本的問答數(shù)據(jù)集TriviaQA等等。

這背后有大量的工作要做。因?yàn)�，和基礎(chǔ)大模型可以通過無監(jiān)督、無需標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練不同，在基礎(chǔ)大模型之上進(jìn)行微調(diào)訓(xùn)練時(shí)，需要通過有監(jiān)督和基于人類反饋的強(qiáng)化學(xué)習(xí)形式，在標(biāo)注過的高質(zhì)量數(shù)據(jù)集上進(jìn)行訓(xùn)練，通過對(duì)話形式進(jìn)行專項(xiàng)能力訓(xùn)練，工作量也不容小覷。

圖片來源：Andrej Karpathy

大模型上車的部署路徑

大模型自有其訓(xùn)練機(jī)制，在車端的部署路徑也日益清晰。

按照難易程度和各個(gè)頭部車企的大模型上車實(shí)踐，可以做出一個(gè)比較清晰合理的判斷：大模型將全面改造智能座艙，并有望在幾年后真正部署在智能駕駛方案中。

智能座艙是人機(jī)交互集中發(fā)生的地方，人和機(jī)器或智能體的交互主要體現(xiàn)在機(jī)器對(duì)人類意圖的理解、記憶和推理三個(gè)方面，大模型天然具備超強(qiáng)的理解和生成能力，并可以通過提高上下文的長(zhǎng)度增強(qiáng)記憶能力，再加上智能座艙的容錯(cuò)能力特別強(qiáng)，所以，從技術(shù)和應(yīng)用場(chǎng)景的契合度上，大模型和智能座艙可謂天作之合，也必然大幅度提升人機(jī)交互體驗(yàn)。

理想汽車在MEGA發(fā)布會(huì)上，介紹了Mind GPT的四大落地場(chǎng)景：百科老師、用車助手、出行助手和娛樂助手，基本總結(jié)了大模型技術(shù)當(dāng)前在智能座艙領(lǐng)域的幾個(gè)用武之地。

圖片來源：理想汽車

自動(dòng)駕駛領(lǐng)域也是大模型可以大顯身手的地方。

大模型對(duì)自動(dòng)駕駛的意義目前主要體現(xiàn)在加快算法開發(fā)和模型迭代速度上，比如毫末智行發(fā)布的大模型DriveGPT雪湖·海若可以在“訓(xùn)練階段”進(jìn)行數(shù)據(jù)的篩選、挖掘、自動(dòng)標(biāo)注，在“仿真階段”生成測(cè)試場(chǎng)景。

不過，由于自動(dòng)駕駛對(duì)安全性的要求特別高，對(duì)實(shí)時(shí)性的要求也極為嚴(yán)苛，要在車端部署大模型形式的自動(dòng)駕駛方案還需要很長(zhǎng)一段時(shí)間。

業(yè)界還在探索在“開發(fā)階段”利用大模型（生成式的多模態(tài)大視覺語言模型），比如理想汽車最近和清華聯(lián)手開發(fā)的DriveVLM，部署在英偉達(dá)Orin X上的話，推理能力需要0.3秒。

0.3秒是個(gè)什么概念？就是如果你以20米每秒（對(duì)應(yīng)72公里每小時(shí)）的速度開車，0.3秒可以跑出去6米。。。這還僅僅是考慮到了實(shí)時(shí)性這個(gè)單一因素，還沒有涉及到大模型的幻覺對(duì)安全性的威脅。

所以，大模型改造智能座艙可謂指日可待，但用在自動(dòng)駕駛方面，只能說任重道遠(yuǎn)，未來可期。

總體上，面對(duì)激烈的市場(chǎng)競(jìng)爭(zhēng)，本土車企不能放過任何一個(gè)風(fēng)口，大模型這種超級(jí)大的風(fēng)口絕對(duì)不能錯(cuò)過，其他車企今年會(huì)陸續(xù)傳來大模型上車的消息，這一點(diǎn)基本上毋庸置疑。

接下來這一年，大家可能需要做好迎接各種車載大模型炫技的測(cè)評(píng)視頻滿天飛的準(zhǔn)備，不過，也不用太理會(huì)他們說的怎么天花亂墜，大模型從“能用”到真正“好用”，再到產(chǎn)生破圈效應(yīng)，諸位且耐心等一等吧。

文章來源：HiEV大蒜粒車研所