FSD 的環(huán)境感知

上面兩張圖是Tesla的一張視覺感知圖,感知的元素包括車道線、路邊的車輛、STOP標致,還有一大堆看不清的東西�？梢�,Tesla對環(huán)境的感知是非常豐富的。左邊中間還有是否遮擋、是否下雨、是否是胎跡、是否是潮濕路面。

 FSD BETA把更多的元素展現(xiàn)了出來

之所以能夠做到這點,一龍．馬給出的解釋是4-D的Training,FSD beta與之前版本的區(qū)別在于:在不安裝激光雷達的前提下,具備4D環(huán)境感知能力。他們對于目標識別的訓(xùn)練已經(jīng)不是使用單張標注圖片的訓(xùn)練,而是將8個攝像頭一段時間的視頻一起放在服務(wù)器里面訓(xùn)練。以前的深度學(xué)習(xí)輸出的是離散的點,用其他硬件(廉價IMU)將這些點連接成一副場景,現(xiàn)在的深度學(xué)習(xí)直接就是無監(jiān)督的場景訓(xùn)練。通過視頻,Tesla一共會訓(xùn)練48種不同的神經(jīng)網(wǎng)絡(luò),用于不同的任務(wù),如識別距離的(depth network)、識別freespace的(layout network)等等。

         Video Training 同時使用8個攝像頭的視頻

         Video Training 一次會使用4096張

               Video training 的成果,以TOPVIEW實時識別FreeSpace

現(xiàn)在,tesla使用上圖這樣一個GPU集群訓(xùn)練,tesla做一次ap的編譯需要1個小時。

這樣海量的訓(xùn)練數(shù)據(jù),對于算力提出了很高的要求。為了實現(xiàn)這個功能,TESLA正在打造一臺“Dojo”超級計算機(日語:道場)

這個超級計算機的作用是進行NN訓(xùn)練,一龍．馬說,這個機器可以自動地學(xué)習(xí)和識別先前未被定義或被標記的信息。與之前FSD的區(qū)別就是放幻燈片和看視頻的區(qū)別,更多的在于訓(xùn)練場景關(guān)聯(lián)性和預(yù)測能力。有人說,DOJO造出來之后(2021年8月)應(yīng)該是排名世界前幾位的超級計算機(算力是現(xiàn)在第一名富岳的2倍),大國重器啊。

圖片需要標注的元素

同時,DOJO強大的算力和Tesla逆天的算法已經(jīng)支持了全自動標注。上面這張圖的標準,完全可以由DOJO自動實現(xiàn)(基于Shadow mode與實際駕駛的Error),免去可耗時的人工標注環(huán)節(jié),計算機的學(xué)習(xí)速度大大加快。     有了DOJO,tesla不但可以通過SHADOW MODE找出系統(tǒng)的問題,還能過像alpha zero一樣實現(xiàn)自我迭代。

DOJOPYTORCHFSDSHOW MODE是如果相互配合來實現(xiàn)整個AI流程．

   GOOGLE 阿爾法0的自我迭代．

當(dāng)然,Tesla與ME相比,技術(shù)上的差距應(yīng)該沒有那么大,但是Tesla海量的數(shù)據(jù)決定了他的優(yōu)勢,數(shù)據(jù)是智能時代的石油嘛。ME就沒辦法做到這一點。這個優(yōu)勢還會隨著Model3的銷量不斷擴大,其他主機廠應(yīng)該慶幸他是一個封閉的系統(tǒng)。

關(guān)于規(guī)劃決策部分,自動標注的實現(xiàn)是整個系統(tǒng)實現(xiàn)的關(guān)鍵。一龍．馬沒說什么,但Cruise給出了解釋。

                典型的路口場景,需要預(yù)測其他測量的運動．

Cruise解釋,路徑預(yù)測也是可以進行學(xué)習(xí)的。通過學(xué)習(xí),他可以知道其他車做某種動作的概率,從而預(yù)測其他交通參與者的行為。下面三張圖以通過路口為例(Cruise在最右側(cè)):

1． 路口兩輛車,每輛車有三種可能(直行,左、右,其實還有U turn, K  turn)

2． Cruise會計算各種動作的概率

3． 當(dāng)一輛車已經(jīng)運動,他還可以影其他車輛運動的概率

4． 豎直的車通過路口后,左側(cè)的車運動的概率被重新計算

5． 所有交通參與者運動被預(yù)測出來

6． 概率如何計算,其實我覺得深度學(xué)習(xí)和傳統(tǒng)方法都有,但是深度學(xué)習(xí)確實很有效(學(xué)習(xí)當(dāng)前交通參與者的拓撲、對方車輛的姿態(tài)與最終結(jié)果的關(guān)系)。

Cruise 在十字路口對其他車輛進入路口直行或者左右拐的概率進行預(yù)測

路口的車走了以后,黃車左拐的概率大大增加

 各個車挨個過了路口,這個是cruise

Cruise說明,之所以能夠預(yù)測,原因是他們使用了持續(xù)學(xué)習(xí)機,他可以進行自我標注。計算實際駕駛效果和預(yù)期效果的偏差,通過偏差對采集的數(shù)據(jù)進行定位進而自動標注,再進行訓(xùn)練形成閉環(huán)。從下圖可以看出,持續(xù)學(xué)習(xí)機的效果非常好。

Cruise預(yù)測到了這個車是要掉頭

Cruise也預(yù)測了白車要cutin

要說Tesla萬能,我不太同意,比如今年有很多人誤踩了油門。只能說技術(shù)進步和技術(shù)不成熟本來就是相伴相生。一龍．馬雖然不停跳票,也還是說到做到。

總結(jié)

回望2020,小的自動駕駛公司倒了一大片,連Uber、吉利這種大公司都撐不住了,但是行業(yè)依然還是飛速的前進,只是整個行業(yè)呈現(xiàn)出了多元化的格局。汽車行業(yè)在分化,傳統(tǒng)行業(yè)和新勢力是冰與火之歌。自動駕駛行業(yè)出現(xiàn)了細分,活下來的公司在不同領(lǐng)域深耕,靠著專業(yè)化來獲得利潤。開創(chuàng)時代的WGIT(WaymoGM CruiseIntel METesla)依然堅持著夢想,不斷突破技術(shù)的天花板。DARPA的一個小苗長就這樣慢慢長成了一棵大樹,感謝這個偉大的時代。