近年來(lái)，無(wú)人機(jī)已被廣泛應(yīng)用于很多領(lǐng)域，它不僅可以完成很多的任務(wù)，包括軌跡規(guī)劃、避障、巡航等，在民用、軍事都有很廣泛應(yīng)用，而且還有降低成本、提高效率、減少損失等很多作用。

但是傳統(tǒng)的無(wú)人機(jī)任務(wù)都采用飛控控制，需要人為操作。為了使無(wú)人機(jī)可以具備更廣的適用性，或者從技術(shù)上來(lái)說(shuō)擁有更好的泛化能力，深蘭科技科學(xué)院嘗試用強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練無(wú)人機(jī)做指定的任務(wù)。如果訓(xùn)練效果能夠達(dá)到足夠穩(wěn)定的性能，則可以進(jìn)一步實(shí)現(xiàn)商用目的。本文在此基礎(chǔ)上，帶大家簡(jiǎn)單了解一下強(qiáng)化學(xué)習(xí)的基礎(chǔ)知識(shí)。

強(qiáng)化學(xué)習(xí)小課堂

一、什么是強(qiáng)化學(xué)習(xí)？

1．強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)（Reinforcement Learning RL）也有很多其他名字，例如再勵(lì)學(xué)習(xí)、增強(qiáng)學(xué)習(xí)、評(píng)價(jià)學(xué)習(xí)，是機(jī)器學(xué)習(xí)的范式和方法論之一，用于描述和解決智能體在與環(huán)境的交互過(guò)程中，通過(guò)學(xué)習(xí)策略以達(dá)成回報(bào)最大化或?qū)崿F(xiàn)特定目標(biāo)的問(wèn)題。

上圖為經(jīng)典的強(qiáng)化學(xué)習(xí)結(jié)構(gòu)圖，從圖片中可以看出，強(qiáng)化學(xué)習(xí)過(guò)程主要由4部分構(gòu)成：智能體（agent）、觀測(cè)到的狀態(tài)（observation／state）、獎(jiǎng)勵(lì)（reward）和行為（action）。

一個(gè)強(qiáng)化學(xué)習(xí)的過(guò)程中，智能體獲得從當(dāng)前環(huán)境中觀測(cè)到的狀態(tài)，然后根據(jù)這一狀態(tài)采取一定的行為或策略，同時(shí)，有一個(gè)評(píng)價(jià)系統(tǒng)來(lái)評(píng)價(jià)這個(gè)行為的好壞，并返回正／負(fù)獎(jiǎng)勵(lì)給到智能體。循環(huán)往復(fù)，直到完成整個(gè)任務(wù)，此為一次強(qiáng)化學(xué)習(xí)的交互。整個(gè)強(qiáng)化學(xué)習(xí)訓(xùn)練過(guò)程就是，智能體與環(huán)境不斷的交互，最終會(huì)學(xué)習(xí)到合理的策略，讓獎(jiǎng)勵(lì)最大或者達(dá)到某個(gè)任務(wù)（指定的狀態(tài)）。

強(qiáng)化學(xué)習(xí)受行為主義心理學(xué)的啟發(fā)，例如巴甫洛夫條件反射實(shí)驗(yàn)，訓(xùn)練搖鈴小狗流口水。小狗看到吃的流口水、搖鈴不流口水，實(shí)驗(yàn)中就采取搖鈴并給狗喂狗糧的方法不停訓(xùn)練，最終即使在沒(méi)有狗糧，只搖鈴的情況下，小狗也會(huì)流口水。

強(qiáng)化學(xué)習(xí)與此類(lèi)似，是讓智能體在與環(huán)境交互的過(guò)程中，一旦選擇對(duì)的行為則給予正獎(jiǎng)勵(lì)加強(qiáng)這種行為，在不斷的訓(xùn)練過(guò)程中使得智能體選擇最合適的行為，最終使得智能體的每一步都能選擇合理的行為，從而達(dá)到整體任務(wù)獎(jiǎng)勵(lì)最大化，并完成任務(wù)。

2．深度強(qiáng)化學(xué)習(xí)

我們一般所說(shuō)的強(qiáng)化學(xué)習(xí)其實(shí)是深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning DRL），深度強(qiáng)化學(xué)習(xí)是強(qiáng)化學(xué)習(xí)與深度學(xué)習(xí)結(jié)合的結(jié)果。顧名思義，就是將傳統(tǒng)強(qiáng)化學(xué)習(xí)中的某一部分用深度學(xué)習(xí)來(lái)完成。

傳統(tǒng)強(qiáng)化學(xué)習(xí)中的行為以及價(jià)值都是需要人為定義的，這也就是為什么傳統(tǒng)強(qiáng)化學(xué)習(xí)起源較早，但是應(yīng)用并不廣泛的原因之一。而深度學(xué)習(xí)恰好將這一問(wèn)題解決了，強(qiáng)化學(xué)習(xí)中的行為以及價(jià)值都用一個(gè)深度學(xué)習(xí)的網(wǎng)絡(luò)來(lái)學(xué)習(xí)得到，這樣不需要人為設(shè)定，使得強(qiáng)化學(xué)習(xí)可以廣泛應(yīng)用于很多領(lǐng)域。而傳統(tǒng)強(qiáng)化學(xué)習(xí)無(wú)法解決的連續(xù)性動(dòng)作的問(wèn)題，深度強(qiáng)化學(xué)習(xí)也可以解決，使用對(duì)應(yīng)的Actor－critic網(wǎng)絡(luò)即可。

深度強(qiáng)化學(xué)習(xí)的分類(lèi)，有很多種分類(lèi)標(biāo)準(zhǔn)：

（1）從智能體的個(gè)數(shù)上，可分為單智能體算法和多智能體算法；

（2）從是否基于模型的角度，可分為model－based和model－free；

（3）從訓(xùn)練時(shí)策略的選擇，可分為on－policy和off－policy等等。

   這里不一一展開(kāi)，但在實(shí)際運(yùn)用強(qiáng)化學(xué)習(xí)的時(shí)候，根據(jù)具體的任務(wù)或者項(xiàng)目，需要選擇合適的深度強(qiáng)化學(xué)習(xí)算法。

二、強(qiáng)化學(xué)習(xí)可以解決什么問(wèn)題？

這張圖是2016年引起熱議人工智能的AlphaGo事件，AlphaGo打敗了圍棋世界冠軍李世石。AlphaGo作為一個(gè)智能體，就使用了深度強(qiáng)化學(xué)習(xí)技術(shù)進(jìn)行了訓(xùn)練。在這一場(chǎng)景中，狀態(tài)就是每一時(shí)刻的棋盤(pán)，行為就是下棋的動(dòng)作，而評(píng)價(jià)系統(tǒng)會(huì)根據(jù)每一步棋的價(jià)值返回獎(jiǎng)勵(lì)。完成訓(xùn)練的AlphaGo在與李世石的比賽中，根據(jù)當(dāng)前的棋盤(pán)選擇最優(yōu)的行為“下一步棋”，最終擊敗了李世石，這就是強(qiáng)化學(xué)習(xí)的一個(gè)具體應(yīng)用。

智能體在不斷與環(huán)境交互的過(guò)程中，會(huì)保留上次學(xué)習(xí)過(guò)的經(jīng)驗(yàn)，下一輪與環(huán)境交互時(shí)，會(huì)選擇獎(jiǎng)勵(lì)更大的行為，一般用來(lái)解決“智能體與環(huán)境交互時(shí)通過(guò)決策選擇最好的行為”的這一類(lèi)問(wèn)題。

具體到現(xiàn)在的應(yīng)用場(chǎng)景很廣泛：

（1）工業(yè)應(yīng)用：機(jī)器人作業(yè)；

（2）金融貿(mào)易應(yīng)用：預(yù)測(cè)未來(lái)銷(xiāo)售額、預(yù)測(cè)股價(jià)等；

（3）自然語(yǔ)言處理（NLP）應(yīng)用：文本摘要、自動(dòng)問(wèn)答、機(jī)器翻譯等；

（4）醫(yī)療保健應(yīng)用：提供治療策略；

（5）工程中的應(yīng)用：數(shù)據(jù)處理、模型訓(xùn)練；

（6）推薦系統(tǒng)中的應(yīng)用：新聞推薦、時(shí)尚推薦等；

（7）游戲中的應(yīng)用：AlphaGo、AlphaZero等；

（8）廣告營(yíng)銷(xiāo)中的應(yīng)用：實(shí)時(shí)競(jìng)價(jià)策略；

（9）機(jī)器人控制中的應(yīng)用：機(jī)械臂抓取物體等。

三、強(qiáng)化學(xué)習(xí)在無(wú)人機(jī)項(xiàng)目中的應(yīng)用

1．簡(jiǎn)單軌跡規(guī)劃

本項(xiàng)目研究的是無(wú)人機(jī)圓周軌跡運(yùn)動(dòng)規(guī)劃。在這一簡(jiǎn)單任務(wù)中，需要讓無(wú)人機(jī)飛到指定位置懸停，然后一直做圓周運(yùn)動(dòng)。簡(jiǎn)單分析這一任務(wù)，智能體就是無(wú)人機(jī)，行為就是對(duì)無(wú)人機(jī)的旋翼發(fā)出操作指令，狀態(tài)就是當(dāng)前無(wú)人機(jī)所處的位置以及無(wú)人機(jī)的性能，獎(jiǎng)勵(lì)則是根據(jù)無(wú)人機(jī)是否沿著圓周運(yùn)動(dòng)的軌跡判斷。

具體到深度強(qiáng)化學(xué)習(xí)的框架，采用的是on－policy的PPO框架，之后也會(huì)用off－policy的DDPG、SAC框架進(jìn)行比對(duì)效果。

2．復(fù)雜軌跡規(guī)劃

在許多機(jī)器人任務(wù)中，如無(wú)人機(jī)比賽，其目標(biāo)是盡可能快地穿越一組路徑點(diǎn)。這項(xiàng)任務(wù)的一個(gè)關(guān)鍵挑戰(zhàn)是規(guī)劃最小時(shí)間軌跡，這通常通過(guò)假設(shè)路徑點(diǎn)的完美知識(shí)來(lái)解決。這樣所得到的解決方案要么高度專(zhuān)用于單軌道布局，要么由于簡(jiǎn)化平臺(tái)動(dòng)力學(xué)假設(shè)而次優(yōu)，方案不具有可擴(kuò)展性。

視頻是使用深度強(qiáng)化學(xué)習(xí)和相對(duì)門(mén)觀察的方法，自適應(yīng)地進(jìn)行隨機(jī)軌道布局的效果展示，與傳統(tǒng)的假設(shè)路徑點(diǎn)軌道方法相比，基于軌跡優(yōu)化的方法顯示出了顯著的優(yōu)勢(shì)。在仿真環(huán)境和現(xiàn)實(shí)世界中的一組軌道上進(jìn)行了評(píng)估，使用真實(shí)四旋翼無(wú)人機(jī)實(shí)現(xiàn)了高達(dá)17米／秒的飛行速度。

3．懸掛運(yùn)輸

第二個(gè)主流方向是懸掛運(yùn)輸，運(yùn)輸懸掛的有效載荷對(duì)自動(dòng)駕駛飛行器來(lái)說(shuō)是一個(gè)挑戰(zhàn)，因?yàn)橛行лd荷會(huì)對(duì)機(jī)器人的動(dòng)力學(xué)造成重大和不可預(yù)測(cè)的變化。這些變化可能會(huì)導(dǎo)致飛行性能不理想，甚至?xí)��?dǎo)致災(zāi)難性故障。視頻是運(yùn)用自適應(yīng)控制與深度強(qiáng)化學(xué)習(xí)在這一問(wèn)題上的效果展示，可以看出這種方法在此任務(wù)表現(xiàn)良好。

如果對(duì)強(qiáng)化學(xué)習(xí)或者無(wú)人機(jī)有興趣的朋友可以與我們聯(lián)系，一起討論學(xué)習(xí)。