深度神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)（ML， Machine Learning）領(lǐng)域中一種技術(shù)。

在監(jiān)督學(xué)習(xí)中，以前的多層神經(jīng)網(wǎng)絡(luò)的問題是容易陷入局部極值點(diǎn)。如果訓(xùn)練樣本足夠充分覆蓋未來的樣本，那么學(xué)到的多層權(quán)重可以很好的用來預(yù)測新的測試樣本。但是很多任務(wù)難以得到足夠多的標(biāo)記樣本，在這種情況下，簡單的模型，比如線性回歸或者決策樹往往能得到比多層神經(jīng)網(wǎng)絡(luò)更好的結(jié)果（更好的泛化性，更差的訓(xùn)練誤差）。

非監(jiān)督學(xué)習(xí)中，以往沒有有效的方法構(gòu)造多層網(wǎng)絡(luò)。多層神經(jīng)網(wǎng)絡(luò)的頂層是底層特征的高級表示，比如底層是像素點(diǎn)，上一層的結(jié)點(diǎn)可能表示橫線，三角； 而頂層可能有一個結(jié)點(diǎn)表示人臉。一個成功的算法應(yīng)該能讓生成的頂層特征最大化的代表底層的樣例。如果對所有層同時訓(xùn)練，時間復(fù)雜度會太高； 如果每次訓(xùn)練一層，偏差就會逐層傳遞。這會面臨跟上面監(jiān)督學(xué)習(xí)中相反的問題，會嚴(yán)重欠擬合。

2006年，hinton提出了在非監(jiān)督數(shù)據(jù)上建立多層神經(jīng)網(wǎng)絡(luò)的一個有效方法，簡單的說，分為兩步，一是每次訓(xùn)練一層網(wǎng)絡(luò)，二是調(diào)優(yōu)使原始表示x向上生成的高級表示r和該高級表示r向下生成的x＇盡可能一致。方法是

1，首先逐層構(gòu)建單層神經(jīng)元，這樣每次都是訓(xùn)練一個單層網(wǎng)絡(luò)。

2，當(dāng)所有層訓(xùn)練完后，hinton使用wake－sleep算法進(jìn)行調(diào)優(yōu)。將除最頂層的其它層間的權(quán)重變?yōu)殡p向的，這樣最頂層仍然是一個單層神經(jīng)網(wǎng)絡(luò)，而其它層則變?yōu)榱藞D模型。向上的權(quán)重用于”認(rèn)知“，向下的權(quán)重用于”生成“。然后使用Wake－Sleep算法調(diào)整所有的權(quán)重。讓認(rèn)知和生成達(dá)成一致，也就是保證生成的最頂層表示能夠盡可能正確的復(fù)原底層的結(jié)點(diǎn)。比如頂層的一個結(jié)點(diǎn)表示人臉，那么所有人臉的圖像應(yīng)該激活這個結(jié)點(diǎn)，并且這個結(jié)果向下生成的圖像應(yīng)該能夠表現(xiàn)為一個大概的人臉圖像。Wake－Sleep算法分為醒（wake）和睡（sleep）兩個部分。

2．1，wake階段，認(rèn)知過程，通過外界的特征和向上的權(quán)重（認(rèn)知權(quán)重）產(chǎn)生每一層的抽象表示（結(jié)點(diǎn)狀態(tài)），并且使用梯度下降修改層間的下行權(quán)重（生成權(quán)重）。也就是“如果現(xiàn)實(shí)跟我想像的不一樣，改變我的權(quán)重使得我想像的東西就是這樣的“。

2．2，sleep階段，生成過程，通過頂層表示（醒時學(xué)得的概念）和向下權(quán)重，生成底層的狀態(tài)，同時修改層間向上的權(quán)重。也就是“如果夢中的景象不是我腦中的相應(yīng)概念，改變我的認(rèn)知權(quán)重使得這種景象在我看來就是這個概念“。

由于自動編碼器（auto－encoder，即上面說的神經(jīng)網(wǎng)絡(luò)。廣義上的自動編碼器指所有的從低級表示得到高級表示，并能從高級表示生成低級表示的近似的結(jié)構(gòu)，狹義上指的是其中的一種，谷歌的人臉識別用的）有聯(lián)想功能，也就是缺失部分輸入也能得到正確的編碼，所以上面說的算法也可以用于有監(jiān)督學(xué)習(xí)，訓(xùn)練時y做為頂層網(wǎng)絡(luò)輸入的補(bǔ)充，應(yīng)用時頂層網(wǎng)絡(luò)生成y＇。