通過上一篇文章《人工智能之深度學習》，我們清楚地知道深度學習（DL）的概念源于人工神經網絡ANN（Artificial Neural Network）。人工神經網絡ANN是20世紀80 年代以來人工智能領域興起的研究熱點。人工神經網絡ANN簡稱為神經網絡或類神經網絡。深度學習實際上是深度神經網絡DNN，即深度學習從人工神經網絡ANN模型發(fā)展起來的，因此有必要對人工神經網絡ANN作進一步探討。＾＿＾

最近十幾年來，人工神經網絡ANN的研究工作不斷深入，已經取得了很大進展，其在模式識別、智能機器人、自動控制、預測估計、生物、醫(yī)學、經濟等領域已成功地解決了許多現代計算機難以解決的實際問題，表現出了良好的智能特性。

那么究竟什么是人工神經網絡ANN呢？

人工神經網絡ANN從信息處理角度對人腦神經元網絡進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網絡。人工神經網絡ANN是一種運算模型，由大量的節(jié)點（或稱神經元）之間相互聯接構成。每個節(jié)點（神經元）代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重，這相當于人工神經網絡的記憶。網絡的輸出則依網絡的連接方式，權重值和激勵函數的不同而不同。而網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達。

人工神經網絡ANN的發(fā)展歷程：

1）  人工神經網絡ANN的概念由W．S．McCulloch和W．Pitts等人于1943年提出。他們通過MP模型提出了神經元的形式化數學描述和網絡結構方法。

2）  1960s年，人工神經網絡得到了進一步發(fā)展，更完善的神經網絡模型被提出，其中包括感知器和自適應線性元件等。1982年， J．J．Hopfield提出了Hopfield神經網格模型，引入“計算能量”概念，給出了網絡穩(wěn)定性判斷。 1984年，他又提出了連續(xù)時間Hopfield神經網絡模型，開創(chuàng)了神經網絡用于聯想記憶和優(yōu)化計算的新途徑。這項開拓性的研究工作有力地推動了神經網絡的研究。

3）  1985年，有學者提出了波耳茲曼模型，在學習中采用統(tǒng)計熱力學模擬退火技術，保證整個系統(tǒng)趨于全局穩(wěn)定點。

4）  1986年進行認知微觀結構地研究，提出了并行分布處理的理論。

5）  1986年，Rumelhart， Hinton， Williams發(fā)展了BP算法。迄今，BP算法已被用于解決大量實際問題。

6）  1988年，Linsker對感知機網絡提出了新的自組織理論，并在Shanon信息論的基礎上形成了最大互信息理論，從而點燃了基于NN的信息應用理論的光芒。

7）  1988年，Broomhead和Lowe用徑向基函數（Radial basis function， RBF）提出分層網絡的設計方法，從而將NN的設計與數值分析和線性適應濾波相掛鉤。

8）  90年代初，Vapnik等提出了支持向量機（Support vector machines， SVM）和VC（Vapnik－Chervonenkis）維數的概念。

9）  美國國會通過決議將1990年1月5日開始的十年定為“腦的十年”，國際研究組織號召它的成員國將“腦的十年”變?yōu)槿�球行為。在日本的“真實世界計算（RWC）”項目中，人工智能的研究成了一個重要的組成部分。人工神經網絡的研究從此受到了各個發(fā)達國家的重視。

人工神經網絡特征：

人工神經網絡是由大量處理單元互聯組成的非線性、自適應信息處理系統(tǒng)。它是在現代神經科學研究成果的基礎上提出的，試圖通過模擬大腦神經網絡處理、記憶信息的方式進行信息處理。人工神經網絡具有四個基本特征：

（1）非線性：人工神經元處于激活或抑制二種不同的狀態(tài)，這種行為在數學上表現為一種非線性關系。具有閾值的神經元構成的網絡具有更好的性能，可以提高容錯性和存儲容量。

（2）非局限性：一個神經網絡通常由多個神經元廣泛連接而成。一個系統(tǒng)的整體行為不僅取決于單個神經元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。

（3）非常定性：人工神經網絡具有自適應、自組織、自學習能力。神經網絡不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統(tǒng)本身也在不斷變化。采用迭代過程描寫動力系統(tǒng)的演化過程。

（4）非凸性：一個系統(tǒng)的演化方向，在一定條件下將取決于某個特定的狀態(tài)函數。非凸性是指這種函數有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導致系統(tǒng)演化的多樣性。