通過(guò)“強(qiáng)化學(xué)習(xí)”，讓每個(gè)智能體適應(yīng)周?chē)�環(huán)境和群體協(xié)作。未來(lái)的分布式機(jī)器人可以互相學(xué)習(xí)，一起工作，共同完成復(fù)雜任務(wù)。圖片來(lái)自網(wǎng)絡(luò)

分布式智能體（Agent）具有自主性、交互性、反應(yīng)性和主動(dòng)性

據(jù)美國(guó)《連線》雜志網(wǎng)站近日?qǐng)?bào)道，目前大部分人工智能研究都集中在個(gè)體智能體（Agent，指能自主活動(dòng)的軟件或者硬件實(shí)體）上，人工智能系統(tǒng)也一直是作為個(gè)體運(yùn)作，但這些個(gè)體智能體不能組合成一個(gè)團(tuán)隊(duì)來(lái)學(xué)習(xí)、工作，也不能相互協(xié)作完成相應(yīng)的任務(wù)。麻省理工學(xué)院航空航天教授喬納森·豪認(rèn)為，這種工作模式喪失了一個(gè)巨大的機(jī)會(huì)，未來(lái)機(jī)器人應(yīng)該一起工作，互相學(xué)習(xí)。

在分布計(jì)算領(lǐng)域，人們通常把在分布式系統(tǒng)中持續(xù)自主發(fā)揮作用并具有自主性、交互性、反應(yīng)性和主動(dòng)性的計(jì)算實(shí)體稱(chēng)為Agent。例如一輛單獨(dú)行駛在街道上的汽車(chē)，一種能根據(jù)周?chē)�環(huán)境變化而不斷調(diào)整的恒溫器。

豪領(lǐng)導(dǎo)的研究團(tuán)隊(duì)一直致力于研究改變“移動(dòng)和人工智能設(shè)備相互協(xié)作和學(xué)習(xí)的方式”，希望通過(guò)人工智能的核心能力——機(jī)器學(xué)習(xí)，幫助智能對(duì)象，使彼此更智能。

豪認(rèn)為，未來(lái)機(jī)器人可以互相學(xué)習(xí)，共同工作，從而改變物流（機(jī)器人完成訂單并送貨上門(mén)）和太空探索（機(jī)器人合作探索新領(lǐng)域）等行業(yè)。而真正的挑戰(zhàn)是為這些人工智能機(jī)器人在實(shí)驗(yàn)室之外的真實(shí)世界做好準(zhǔn)備，這才是人工智能應(yīng)該涉獵的領(lǐng)域。

機(jī)器人個(gè)體結(jié)成團(tuán)隊(duì)工作

現(xiàn)實(shí)世界遠(yuǎn)比人工智能機(jī)器人開(kāi)發(fā)實(shí)驗(yàn)室環(huán)境復(fù)雜。在團(tuán)隊(duì)工作中，人類(lèi)會(huì)思考，其他人在做什么？如何共同完成任務(wù)？這個(gè)任務(wù)會(huì)發(fā)生怎樣的變化？等等。而這些問(wèn)題，都將是機(jī)器人以團(tuán)隊(duì)形式工作時(shí)所需要“考慮”的。

為了讓機(jī)器人以群體形式工作，豪帶領(lǐng)的團(tuán)隊(duì)讓智能體在周邊環(huán)境中反復(fù)試驗(yàn)，像人類(lèi)一樣學(xué)習(xí)。團(tuán)隊(duì)利用他們自己開(kāi)發(fā)的新算法，以及機(jī)器人行業(yè)的經(jīng)驗(yàn)，對(duì)其進(jìn)行了優(yōu)化，使用了一種名為強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)技術(shù)，讓它們適應(yīng)周邊環(huán)境。

團(tuán)隊(duì)甚至更進(jìn)一步研究了“多智能體”參與時(shí)發(fā)生了什么。“多智能體”強(qiáng)化學(xué)習(xí)這門(mén)新興學(xué)科存在許多難題，包括：如何讓獨(dú)立的智能體在其他方面建立共識(shí)并達(dá)成一致？如何確保它們之間不斷的交談不會(huì)淹沒(méi)整個(gè)網(wǎng)絡(luò)？當(dāng)一個(gè)有人工智能功能的機(jī)器人認(rèn)為自己知道正確的做事方式，但它卻錯(cuò)了時(shí)又會(huì)發(fā)生什么？

豪說(shuō)：“如果我們對(duì)什么時(shí)候去吃晚飯都有不同的看法，你需要多少溝通才能達(dá)成一致？這看起來(lái)相對(duì)簡(jiǎn)單的問(wèn)題，但在機(jī)器人系統(tǒng)中，我們要處理的問(wèn)題非常多，通常這些問(wèn)題都有很多不確定性。”

只有出現(xiàn)了可行的深度學(xué)習(xí)平臺(tái)，才有可能真正回答這些問(wèn)題。豪和他的團(tuán)隊(duì)使用由亞馬遜的EC2 GPU實(shí)例支持的AWS深度學(xué)習(xí)AMI環(huán)境，這些實(shí)例不需要管理機(jī)架和服務(wù)器，就可以在云上執(zhí)行非常復(fù)雜的計(jì)算。他們的最終目標(biāo)是訓(xùn)練和運(yùn)行強(qiáng)化學(xué)習(xí)模型的速度和準(zhǔn)確性，以保證機(jī)器人足以應(yīng)對(duì)現(xiàn)實(shí)世界中行為的影響。比如，當(dāng)機(jī)器人意見(jiàn)不一致時(shí)，它們之間不斷的嘮叨不會(huì)淹沒(méi)整個(gè)網(wǎng)絡(luò)。

復(fù)雜計(jì)算需要云平臺(tái)

在智能機(jī)器人共同學(xué)習(xí)的理想生態(tài)系統(tǒng)中，整體大于部分之和，這需要重大的技術(shù)努力才能實(shí)現(xiàn)。

在亞馬遜云服務(wù)（AWS）、波音和IBM聯(lián)合資助下，豪的團(tuán)隊(duì)已經(jīng)進(jìn)行了一段時(shí)間的深入研究，通過(guò)足夠的計(jì)算能力運(yùn)行復(fù)雜的強(qiáng)化學(xué)習(xí)算法，使一群機(jī)器人保持不斷的通信，并在聯(lián)機(jī)中調(diào)整它們的行為。新的強(qiáng)化學(xué)習(xí)系統(tǒng)被稱(chēng)為分層多智能體教學(xué)，通過(guò)優(yōu)化獎(jiǎng)勵(lì)功能和更有效的溝通，成功地提高了機(jī)器人在團(tuán)隊(duì)范圍內(nèi)的學(xué)習(xí)和協(xié)作整合解決問(wèn)題的能力。利用基于云的服務(wù)，團(tuán)隊(duì)中的每個(gè)成員都可以根據(jù)自己的需要，訪問(wèn)盡可能多的計(jì)算能力。

“在這種基于模擬的訓(xùn)練中，我們要測(cè)試數(shù)百種設(shè)置，速度是至關(guān)重要的�！焙澜淌诘拇T士研究生金東基（音譯）說(shuō)，“機(jī)器學(xué)習(xí)直接轉(zhuǎn)化為我們?cè)诟�短的時(shí)間內(nèi)運(yùn)行更多迭代的能力。AWS提供了強(qiáng)大的GPU實(shí)例，大大縮短了訓(xùn)練時(shí)間，加快了我們的研究步伐�！�

豪認(rèn)為，這項(xiàng)研究商業(yè)化需要5—10年的時(shí)間，但這可能是未來(lái)人工智能應(yīng)用的一個(gè)基本推動(dòng)者。他表示，合作、有彈性機(jī)器人的用途幾乎是無(wú)限的。