研究人員將使用udacity提供的模擬器，模擬車前部配有3個攝像頭，可記錄視頻以及與中央攝像頭對應(yīng)的轉(zhuǎn)向角。

行為克隆的本質(zhì)是克隆了驅(qū)動程序的行為。本文的實(shí)驗(yàn)思路是根據(jù)駕駛員駕駛的訓(xùn)練數(shù)據(jù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN）以模擬駕駛員。

NVIDIA曾發(fā)布了一篇題為End to End Learning for Self－DrivingCars 的文章，他們訓(xùn)練CNN將原始像素從單個前置攝像頭直接映射到轉(zhuǎn)向命令。實(shí)驗(yàn)結(jié)果令人非常震驚，汽車學(xué)會了在有或沒有車道標(biāo)記的地方道路上或者在具有最少量訓(xùn)練數(shù)據(jù)的高速公路上行駛。本次實(shí)驗(yàn)，研究人員將使用udacity提供的模擬器，模擬車前部配有3個攝像頭，可記錄視頻以及與中央攝像頭對應(yīng)的轉(zhuǎn)向角。

收集數(shù)據(jù)

模擬器有2個通道：第一個通道非常容易，曲線較小且很少，第二個通道很難，有許多曲線和陡峭的山坡。

研究人員將使用來自兩個軌道的訓(xùn)練數(shù)據(jù)：

1．研究人員將駕駛兩條車道，將車保持在車道的中心位置。研究人員每人開車2圈。

2．研究人員將在兩條車道上各開一圈，并試圖漂移到兩側(cè)，或試圖轉(zhuǎn)向車道的中心。這將為研究人員提供模型校正的訓(xùn)練數(shù)據(jù)。

圖分別為左、中、右視角

捕獲的數(shù)據(jù)包含左圖像，中心圖像和右圖像的路徑，轉(zhuǎn)向角度，油門，中斷和速度值。

注意：研究人員將使用所有左，中，右圖像。研究人員將通過一些調(diào)整來矯正left＿image的轉(zhuǎn)向角度。同樣，研究人員將通過一些調(diào)整來矯正right＿image的轉(zhuǎn)向角度。

數(shù)據(jù)不平衡

轉(zhuǎn)向角直方圖

上面的直方圖顯示了訓(xùn)練數(shù)據(jù)的不平衡。左轉(zhuǎn)彎的數(shù)據(jù)多于右轉(zhuǎn)彎的數(shù)據(jù)。研究人員將通過隨機(jī)翻轉(zhuǎn)訓(xùn)練圖像并將轉(zhuǎn)向角度調(diào)整為steering＿angle來補(bǔ)償這一點(diǎn)。

此外，大多數(shù)轉(zhuǎn)向角集中在0－0．25左右，研究人員沒有太多的數(shù)據(jù)來獲得更大的轉(zhuǎn)向角。研究人員將通過一些像素水平和垂直地隨機(jī)移動圖像并相應(yīng)地調(diào)整轉(zhuǎn)向角來補(bǔ)償這一點(diǎn)。

數(shù)據(jù)擴(kuò)充

研究人員使用以下增補(bǔ)：

1．隨機(jī)翻轉(zhuǎn)一些圖像并將轉(zhuǎn)向角度調(diào)整為steering＿angle

2．通過一些像素水平和垂直地隨機(jī)移動圖像，并使用小的調(diào)整因子調(diào)整轉(zhuǎn)向角度。

3．路上有樹木，柱子等陰影。因此，研究人員將為訓(xùn)練圖像添加一些陰影。4．研究人員會隨機(jī)調(diào)整圖像的亮度。

以上這些是標(biāo)準(zhǔn)的OpenCV調(diào)整，代碼可以在GitHub存儲庫中找到。（詳見文末鏈接）

應(yīng)用增強(qiáng)后，下面是一些訓(xùn)練圖像的輸出。

前處理

本文期望圖像的輸入尺寸為66 ＊ 200 ＊ 3，而來自訓(xùn)練的圖像尺寸為160 ＊ 320 ＊ 3。此外，紙張期望將輸入圖像從RGB轉(zhuǎn)換為YUV顏色空間。因此，研究人員將從輸入圖像裁剪上部40像素行和下部20像素行。此外，作為預(yù)處理的一部分，研究人員將裁剪的圖像大小調(diào)整為66 ＊ 200 ＊ 3大小并將其轉(zhuǎn)換為YUV色彩空間。

模型

這是本文中描述的PilotNet模型：