說(shuō)到激活函數(shù)，我們來(lái)了解一下它們的用途激活函數(shù)幫助我們決定是否需要激活該神經(jīng)元，如果我們需要激活該神經(jīng)元那么信號(hào)的強(qiáng)度是多少。激活函數(shù)是神經(jīng)元通過(guò)神經(jīng)網(wǎng)絡(luò)處理和傳遞信息的機(jī)制。讓我們用預(yù)測(cè)天氣的樣本數(shù)據(jù)來(lái)理解神經(jīng)網(wǎng)絡(luò)為了更好地理解，我們將進(jìn)行簡(jiǎn)化，我們只需要兩個(gè)輸入：有兩個(gè)隱藏節(jié)點(diǎn)的溫度和能見度，沒(méi)有偏置。對(duì)于輸出，我們?nèi)匀幌Ｍ麑⑻鞖鈩澐譃榍缣旎虿磺缣鞙囟仁侨A氏溫度，能見度是英里。

讓我們看一個(gè)溫度為50華氏度，能見度為0．01英里的數(shù)據(jù)。步驟1：我們將權(quán)重隨機(jī)初始化為一個(gè)接近于0但不等于0的值。步驟2：接下來(lái)，我們用溫度和能見度的輸入節(jié)點(diǎn)獲取我們的單個(gè)數(shù)據(jù)點(diǎn)，并輸入到神經(jīng)網(wǎng)絡(luò)。步驟3：從左到右進(jìn)行前向傳播，將權(quán)值乘以輸入值，然后使用ReLU作為激活函數(shù)。目前ReLU是全連接網(wǎng)絡(luò)最常用的激活函數(shù)。步驟4：現(xiàn)在我們預(yù)測(cè)輸出，并將預(yù)測(cè)輸出與實(shí)際輸出值進(jìn)行比較。由于這是一個(gè)分類問(wèn)題，我們使用交叉熵函數(shù)

交叉熵是一個(gè)非負(fù)的代價(jià)函數(shù)，取值范圍在0和1之間在我們的例子中，實(shí)際的輸出不是晴天，所以y的值為0。如果y？是1，那么我們把值代入成本函數(shù)，看看得到什么

類似地，當(dāng)實(shí)際輸出和預(yù)測(cè)輸出相同時(shí)，我們得到成本c＝0。

我們可以看到，對(duì)于交叉熵函數(shù)，當(dāng)預(yù)測(cè)的輸出與實(shí)際輸出相匹配時(shí)，成本為零；當(dāng)預(yù)測(cè)的輸出與實(shí)際輸出不匹配時(shí)，成本是無(wú)窮大的。步驟5：從右向左反向傳播并調(diào)整權(quán)重。權(quán)重是根據(jù)權(quán)重對(duì)錯(cuò)誤負(fù)責(zé)的程度進(jìn)行調(diào)整的，學(xué)習(xí)率決定了我們更新權(quán)重的多少。反向傳播、學(xué)習(xí)率，我們將用簡(jiǎn)單的術(shù)語(yǔ)來(lái)解釋一切。反向傳播把反向傳播看作是我們有時(shí)從父母、導(dǎo)師、同伴那里得到的反饋機(jī)制，反饋幫助我們成為一個(gè)更好的人。反向傳播是一種快速的學(xué)習(xí)算法，它告訴我們，當(dāng)我們改變權(quán)重和偏差時(shí)，成本函數(shù)會(huì)發(fā)生怎樣的變化，從而改變了神經(jīng)網(wǎng)絡(luò)的行為。這里不深入研究反向傳播的詳細(xì)數(shù)學(xué)。在反向傳播中，我們計(jì)算每個(gè)訓(xùn)練實(shí)例的成本對(duì)權(quán)重的偏導(dǎo)數(shù)和成本對(duì)偏差的偏導(dǎo)數(shù)，然后求所有訓(xùn)練樣本的偏導(dǎo)數(shù)的平均值。對(duì)于我們的單個(gè)數(shù)據(jù)點(diǎn)，我們確定每個(gè)權(quán)值和偏差對(duì)錯(cuò)誤的影響程度，基于這些權(quán)值對(duì)錯(cuò)誤的影響程度，我們同時(shí)調(diào)整所有權(quán)值。對(duì)于使用批量梯度下降（GD）算法，所有訓(xùn)練數(shù)據(jù)更新一次權(quán)值；對(duì)于使用隨機(jī)梯度下降（SGD）算法，每一個(gè)批次訓(xùn)練示例更新一次權(quán)值。對(duì)于不同的權(quán)重，我們使用GD或SGD重復(fù)步驟1到步驟5。隨著權(quán)重的調(diào)整，某些節(jié)點(diǎn)將根據(jù)激活函數(shù)進(jìn)行打開或關(guān)閉。在我們的天氣例子中，溫度與預(yù)測(cè)多云的相關(guān)性較小，因?yàn)橄募镜臏囟瓤赡茉?0度以上，而冬季仍然是多云的，或者冬季的溫度可能在30度或更低，但仍然是多云的，在這種情況下，激活函數(shù)可以決定關(guān)閉負(fù)責(zé)溫度的隱藏節(jié)點(diǎn)，只打開可見度節(jié)點(diǎn)，以預(yù)測(cè)輸出不是晴天，如下圖所示

Epoch是指用于一次學(xué)習(xí)，一次正向傳播和一次反向傳播的完整數(shù)據(jù)集。我們可以重復(fù)也就是在多個(gè)epoch下前向和反向傳播，直到我們收斂到一個(gè)全局極小值。什么是學(xué)習(xí)率？學(xué)習(xí)率控制著我們應(yīng)該在多大程度上根據(jù)損失梯度調(diào)整權(quán)重。值越低，學(xué)習(xí)越慢，收斂到全局最小也越慢。較高的學(xué)習(xí)率值不會(huì)使梯度下降收斂學(xué)習(xí)率是隨機(jī)初始化的。