2019年3月27日，Yoshua Bengio， Geoffrey Hinton 和 Yann LeCun 計(jì)算機(jī)科學(xué)界的最高榮譽(yù)——ACM 圖靈獎(jiǎng)，它被譽(yù)為是計(jì)算機(jī)界的諾貝爾獎(jiǎng)。Hinton、LeCun 和 Bengio 獨(dú)立工作，共同開發(fā)了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)領(lǐng)域的概念基礎(chǔ)，通過實(shí)驗(yàn)和實(shí)際工程證明了深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢。

圖靈獎(jiǎng)得主介紹及主要技術(shù)成就

Yann LeCun，紐約大學(xué)教授，同時(shí)也是 Facebook 的副總裁和首席 AI 科學(xué)家。ACM 表示 Yann LeCun 主要有三大重要貢獻(xiàn)：提出卷積神經(jīng)網(wǎng)絡(luò)，改進(jìn)反向傳播算法，拓寬神經(jīng)網(wǎng)絡(luò)的視角。

Geoffrey Hinton，谷歌副總裁兼工程研究員，Vector Institute 的首席科學(xué)顧問，同時(shí)也是多倫多大學(xué)的名譽(yù)大學(xué)教授。Hinton 最重要的貢獻(xiàn)來自他 1986 年發(fā)明反向傳播的論文“Learning Internal Representations by Error Propagation”，1983 年發(fā)明的玻爾茲曼機(jī)（Boltzmann Machines），以及 2012 年對卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)。

Yoshua Bengio，蒙特利爾大學(xué)教授，魁北克人工智能研究所 Mila 科學(xué)主管，Bengio 的主要貢獻(xiàn)是在 1990 年代發(fā)明的 Probabilistic models of sequences。自 2010 年以來，Bengio 非常關(guān)注生成式深度學(xué)習(xí)，特別是他與 Ian Goodfellow 等研究者提出的生成對抗網(wǎng)絡(luò)（GAN），這項(xiàng)研究引起了計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)的革命。

時(shí)至今日，幾乎我們能聽到的所有關(guān)于 AI 的重要進(jìn)展，背后都離不開深度學(xué)習(xí)。深度神經(jīng)網(wǎng)絡(luò)促進(jìn)了現(xiàn)代計(jì)算機(jī)科學(xué)的極大進(jìn)步，顯著提升了計(jì)算機(jī)感知世界的能力，正是上述三位獲獎(jiǎng)?wù)邽榇说於�了重要基礎(chǔ)。

深度學(xué)習(xí)是否有盡頭？

但從去年開始，關(guān)于深度學(xué)習(xí)“寒冬論”、“天花板”的論調(diào)頻繁出現(xiàn)，不少人認(rèn)為深度學(xué)習(xí)似乎遇到了瓶頸，需要特別大、特別深的網(wǎng)絡(luò)以及大量數(shù)據(jù)訓(xùn)練。

深度學(xué)習(xí)確有很多先天缺陷。比如低效率問題，我們都知道數(shù)據(jù)集的逐漸增大加上正確的訓(xùn)練有助于性能的提高，而樣本量的缺少容易出現(xiàn)算法偏差。深度學(xué)習(xí)模型很淺。人工智能應(yīng)用程序通過大量數(shù)據(jù)和深度學(xué)習(xí)算法的訓(xùn)練可以很好地完成一件事，但卻不能應(yīng)用在另一個(gè)方面，到目前為止，還沒有一個(gè)好的辦法可以將訓(xùn)練從一種情況轉(zhuǎn)移到另一種情況。

另外，深度學(xué)習(xí)算法里還有一個(gè)特別棘手的問題，應(yīng)用不穩(wěn)定。讓這些算法在沒有明確編程的情況下接受數(shù)據(jù)訓(xùn)練和學(xué)習(xí)，目前為止，深度學(xué)習(xí)是很難達(dá)到預(yù)期效果的。

另一個(gè)威脅是易受對抗攻擊。由于它們的創(chuàng)建方式，深度學(xué)習(xí)算法可以以意想不到的方式運(yùn)行 － 或者至少以對我們?nèi)祟悂碚f似乎不合邏輯的方式運(yùn)行。鑒于神經(jīng)網(wǎng)絡(luò)的不透明性，很難找到它們包含的所有邏輯錯(cuò)誤。

但斷定深度學(xué)習(xí)“已死”的論調(diào)顯然是不合理的，即使可能在未來幾年內(nèi)深度學(xué)習(xí)無法達(dá)到人類水平的認(rèn)知，我們也會在許多其他領(lǐng)域看到深度學(xué)習(xí)有巨大的改進(jìn)。以下是神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的一些重要趨勢。

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的發(fā)展趨勢

膠囊網(wǎng)絡(luò)

膠囊網(wǎng)絡(luò) （CapsNet）是Geoffrey Hinton提出的一種新型深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它們以類似于人腦的方式處理信息。這實(shí)質(zhì)上意味著膠囊網(wǎng)絡(luò)可以維持層次關(guān)系。

這與卷積神經(jīng)網(wǎng)絡(luò)形成對比。卷積神經(jīng)網(wǎng)絡(luò)未能考慮簡單和復(fù)雜對象之間存在的關(guān)鍵空間層次結(jié)構(gòu)。這導(dǎo)致錯(cuò)誤分類和更高的錯(cuò)誤率。膠囊網(wǎng)絡(luò)彌補(bǔ)了不少缺陷，比如數(shù)據(jù)量、準(zhǔn)確度、訓(xùn)練數(shù)據(jù)多樣性等等，性能更好。

深層強(qiáng)化學(xué)習(xí)

深度強(qiáng)化學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)的一種形式，它通過觀察、行動(dòng)和獎(jiǎng)勵(lì)與環(huán)境交流來學(xué)習(xí)。深度強(qiáng)化學(xué)習(xí)（DRL）已經(jīng)被成功地用于確定游戲策略，比如Atari和Go。著名的AlphaGo項(xiàng)目被用來擊敗人類冠軍，而且也取得了成功。

深度學(xué)習(xí)有較強(qiáng)的感知能力，但是缺乏一定的決策能力。而深度強(qiáng)化學(xué)習(xí)還具有決策能力，不僅能利用現(xiàn)有數(shù)據(jù)，還可以通過對環(huán)境的探索獲得新數(shù)據(jù)，并利用新數(shù)據(jù)循環(huán)往復(fù)地更新迭代現(xiàn)有模型的機(jī)器學(xué)習(xí)算法，為復(fù)雜系統(tǒng)的感知決策問題提供了解決思路。

元學(xué)習(xí)

元學(xué)習(xí)可幫助模型在少量樣本下快速學(xué)習(xí)，從元學(xué)習(xí)的使用角度看，人們也稱之為少次學(xué)習(xí)。更具體地，如果訓(xùn)練樣本數(shù)為 1，則稱為一次學(xué)習(xí)；訓(xùn)練樣本數(shù)為 K，稱為 K 次學(xué)習(xí)；更極端地，訓(xùn)練樣本數(shù)為 0，稱為零次學(xué)習(xí)。另外，多任務(wù)學(xué)習(xí)和遷移學(xué)習(xí)在理論層面上都能歸結(jié)到元學(xué)習(xí)的大家庭中。

元學(xué)習(xí)通過人工智能技術(shù)，把算法的設(shè)計(jì)自動(dòng)化，降低了應(yīng)用門檻，使得自動(dòng)化的人工智能開發(fā)成為可能。

帶記憶模型的網(wǎng)絡(luò)

區(qū)分人類和機(jī)器的一個(gè)重要方面是工作和思考的能力。毫無疑問，計(jì)算機(jī)可以預(yù)先編程，以極高的精度完成一項(xiàng)特定的任務(wù)。但是，當(dāng)你需要它們在不同的環(huán)境中工作時(shí)，就會出現(xiàn)問題。

為了使機(jī)器能夠適應(yīng)現(xiàn)實(shí)世界的環(huán)境，神經(jīng)網(wǎng)絡(luò)必須能夠在不遺忘的情況下學(xué)習(xí)順序任務(wù)。神經(jīng)網(wǎng)絡(luò)需要借助多種強(qiáng)大的體系結(jié)構(gòu)來克服遺忘。這些可以包括：長期內(nèi)存網(wǎng)絡(luò)，可以處理和預(yù)測時(shí)間序列；彈性權(quán)重合并算法，可以根據(jù)先前完成的任務(wù)定義的優(yōu)先級減慢學(xué)習(xí)速度；不受遺忘影響的漸進(jìn)式神經(jīng)網(wǎng)絡(luò)，能夠從已經(jīng)學(xué)過的網(wǎng)絡(luò)中提取有用的特征，以用于新的任務(wù)。

混合學(xué)習(xí)模式

不同類型的深度神經(jīng)網(wǎng)絡(luò)，例如生成對抗網(wǎng)絡(luò)（Generative adversarial networks， GANs）或DRL，已經(jīng)在性能和廣泛應(yīng)用層面顯示出了巨大的前景。這可以幫助我們實(shí)現(xiàn)更好的模型性能和可解釋性的模型，從而可以鼓勵(lì)更廣泛的應(yīng)用。通過概率編程語言的結(jié)合進(jìn)行深度學(xué)習(xí)，以期看到更深層的學(xué)習(xí)方法獲得貝葉斯等價(jià)物。

深度學(xué)習(xí)不是終點(diǎn)，只是起步

深度學(xué)習(xí)在近年來能夠取得成功得益于兩個(gè)關(guān)鍵因素：一是計(jì)算機(jī)運(yùn)算速度提高數(shù)倍；二是深度學(xué)習(xí)可順序計(jì)算的能力提高。目前深度學(xué)習(xí)依舊生命力旺盛，深度學(xué)習(xí)可用的工具和方法也成為了科學(xué)和商業(yè)中有價(jià)值應(yīng)用的堅(jiān)實(shí)基礎(chǔ)。

技術(shù)進(jìn)步，眾多行業(yè)借助AI賦能產(chǎn)業(yè)結(jié)構(gòu)，不斷升級換代與創(chuàng)新變革，走在技術(shù)前沿的公司也在不斷涌現(xiàn)。國內(nèi)誕生了諸如曠視科技、商湯科技、極鏈科技Video＋＋、依圖科技等優(yōu)秀人工智能初創(chuàng)企業(yè)。人工智能技術(shù)迎來了發(fā)展的春天，我們期待即將到來的新的革命。