深度學(xué)習(xí)的訓(xùn)練過(guò)程：

1）自下上升非監(jiān)督學(xué)習(xí)，從底層開始，一層一層的往頂層訓(xùn)練。采用無(wú)標(biāo)定數(shù)據(jù)（有標(biāo)定數(shù)據(jù)也可）分層訓(xùn)練各層參數(shù)，這是一個(gè)無(wú)監(jiān)督訓(xùn)練過(guò)程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分，這個(gè)過(guò)程可以看作是feature learning過(guò)程。

2）自頂向下的監(jiān)督學(xué)習(xí)，通過(guò)帶標(biāo)簽的數(shù)據(jù)去訓(xùn)練，誤差自頂向下傳輸，對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)�；�于第一步得到的各層參數(shù)進(jìn)一步fine－tune整個(gè)多層模型的參數(shù)，這一個(gè)有監(jiān)督訓(xùn)練過(guò)程。

深度學(xué)習(xí)的第一步不是隨機(jī)初始化，而是通過(guò)學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個(gè)初值更接近全局最優(yōu)，從而能夠取得更好的效果。所以深度學(xué)習(xí)效果好很大程度上歸功于第一步的feature learning過(guò)程。

對(duì)深度學(xué)習(xí)而言，訓(xùn)練集就是用來(lái)求解神經(jīng)網(wǎng)絡(luò)的權(quán)重的，最后形成模型；而測(cè)試集，就是用來(lái)驗(yàn)證模型的準(zhǔn)確度的。

深度學(xué)習(xí)領(lǐng)域研究包含：優(yōu)化（Optimization），泛化（Generalization），表達(dá)（Representation）以及應(yīng)用（Applications）。除了應(yīng)用（Applications）之外每個(gè)部分又可以分成實(shí)踐和理論兩個(gè)方面。

根據(jù)解決問(wèn)題、應(yīng)用領(lǐng)域等不同，深度學(xué)習(xí)有許多不同實(shí)現(xiàn)形式：卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeural Networks）、深度置信網(wǎng)絡(luò)（DeepBelief Networks）、受限玻爾茲曼機(jī)（RestrictedBoltzmann Machines）、深度玻爾茲曼機(jī)（Deep BoltzmannMachines）、遞歸自動(dòng)編碼器（RecursiveAutoencoders）、深度表達(dá)（DeepRepresentation）等。

深度學(xué)習(xí)的優(yōu)點(diǎn)：深度學(xué)習(xí)提出了一種讓計(jì)算機(jī)自動(dòng)學(xué)習(xí)出模式特征的方法，并將特征學(xué)習(xí)融入到了建立模型的過(guò)程中，從而減少了人為設(shè)計(jì)特征造成的不完備性。而目前以深度學(xué)習(xí)為核心的某些機(jī)器學(xué)習(xí)應(yīng)用，在滿足特定條件的應(yīng)用場(chǎng)景下，已經(jīng)達(dá)到了超越現(xiàn)有算法的識(shí)別或分類性能。

深度學(xué)習(xí)的缺點(diǎn)：只能提供有限數(shù)據(jù)量的應(yīng)用場(chǎng)景下，深度學(xué)習(xí)算法不能夠?qū)��?shù)據(jù)的規(guī)律進(jìn)行無(wú)偏差的估計(jì)。為了達(dá)到很好的精度，需要大數(shù)據(jù)支撐。由于深度學(xué)習(xí)中圖模型的復(fù)雜化導(dǎo)致算法的時(shí)間復(fù)雜度急劇提升，為了保證算法的實(shí)時(shí)性，需要更高的并行編程技巧和更多更好的硬件支持。因此，只有一些經(jīng)濟(jì)實(shí)力比較強(qiáng)大的科研機(jī)構(gòu)或企業(yè)，才能夠用深度學(xué)習(xí)來(lái)做一些前沿而實(shí)用的應(yīng)用。

深度學(xué)習(xí)成功應(yīng)用于計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、記憶網(wǎng)絡(luò)、自然語(yǔ)言處理等其他領(lǐng)域。

深度學(xué)習(xí)是關(guān)于自動(dòng)學(xué)習(xí)需要建模的數(shù)據(jù)潛在分布的多層表達(dá)的復(fù)雜算法。深度學(xué)習(xí)算法自動(dòng)的提取分類需要的低層次或者高層次特征�？傊�，深度學(xué)習(xí)是用多層次的分析和計(jì)算手段，得到結(jié)果的一種方法。

結(jié)語(yǔ)

目前深度學(xué)習(xí)的發(fā)展引起其他它領(lǐng)域的革命。深度學(xué)習(xí)的火熱得益于各行各業(yè)豐富的大數(shù)據(jù)發(fā)展和計(jì)算機(jī)計(jì)算能力的提升，同時(shí)也要?dú)w功于過(guò)去經(jīng)驗(yàn)。今后深度學(xué)習(xí)將繼續(xù)解決各種識(shí)別（Recognition）和演繹（Ability to Act）方面的相關(guān)問(wèn)題。當(dāng)然，機(jī)器學(xué)習(xí)本身也不是完美的，也不是解決世間任何機(jī)器學(xué)習(xí)問(wèn)題的利器，深度學(xué)習(xí)目前仍有大量工作需要研究，不應(yīng)該被放大到一個(gè)無(wú)所不能的程度。