2．無(wú)監(jiān)督學(xué)習(xí)（Unsupervised Learning）

給學(xué)習(xí)算法提供的數(shù)據(jù)是未標(biāo)記的，并且要求算法識(shí)別輸入數(shù)據(jù)中的模式，主要是建立一個(gè)模型，用其試著對(duì)輸入的數(shù)據(jù)進(jìn)行解釋?zhuān)�并用于下次輸入�，F(xiàn)實(shí)情況下往往很多數(shù)據(jù)集都有大量的未標(biāo)記樣本，有標(biāo)記的樣本反而比較少。如果直接棄用，很大程度上會(huì)導(dǎo)致模型精度低。這種情況解決的思路往往是結(jié)合有標(biāo)記的樣本，通過(guò)估計(jì)的方法把未標(biāo)記樣本變?yōu)閭蔚挠袠?biāo)記樣本，所以無(wú)監(jiān)督學(xué)習(xí)比監(jiān)督學(xué)習(xí)更難掌握。主要用于解決聚類(lèi)和降維問(wèn)題，常見(jiàn)的算法有：

（1）聚類(lèi)算法：把一組對(duì)象分組化的任務(wù)，使得在同一組的對(duì)象比起其它組的對(duì)象，它們彼此更加相似。常用的聚類(lèi)算法包括：

①K－means算法：這是典型的基于原型的目標(biāo)函數(shù)聚類(lèi)方法的代表，它是數(shù)據(jù)點(diǎn)到原型的某種距離作為優(yōu)化的目標(biāo)函數(shù)，利用函數(shù)求極值的方法得到迭代運(yùn)算的調(diào)整規(guī)則。其優(yōu)點(diǎn)是算法足夠快速、簡(jiǎn)單，并且如果預(yù)處理數(shù)據(jù)和特征工程十分有效，那么該聚類(lèi)算法將擁有極高的靈活性。缺點(diǎn)是該算法需要指定集群的數(shù)量，而K值的選擇通常都不是那么容易確定的。另外，如果訓(xùn)練數(shù)據(jù)中的真實(shí)集群并不是類(lèi)球狀的，那么K均值聚類(lèi)會(huì)得出一些比較差的集群。

圖15  K－means算法

②Expectation Maximisation （EM）：這是一種迭代算法，用于含有隱變量（latent variable）的概率參數(shù)模型的最大似然估計(jì)或極大后驗(yàn)概率估計(jì)。EM算法的主要目的是提供一個(gè)簡(jiǎn)單的迭代算法計(jì)算后驗(yàn)密度函數(shù)，它的最大優(yōu)點(diǎn)是簡(jiǎn)單和穩(wěn)定，但容易陷入局部最優(yōu)。

圖16  EM算法

③Affinity Propagation 聚類(lèi)：AP 聚類(lèi)算法是一種相對(duì)較新的聚類(lèi)算法，該聚類(lèi)算法基于兩個(gè)樣本點(diǎn)之間的圖形距離（graph distances）確定集群。采用該聚類(lèi)方法的集群擁有更小和不相等的大小。優(yōu)點(diǎn)：該算法不需要指出明確的集群數(shù)量。缺點(diǎn)：AP 聚類(lèi)算法主要的缺點(diǎn)就是訓(xùn)練速度比較慢，并需要大量?jī)?nèi)存，因此也就很難擴(kuò)展到大數(shù)據(jù)集中。另外，該算法同樣假定潛在的集群是類(lèi)球狀的。

④層次聚類(lèi)（Hierarchical Clustering）：層次聚類(lèi)是一系列基于以下概念的聚類(lèi)算法：是通過(guò)對(duì)數(shù)據(jù)集按照某種方法進(jìn)行層次分解，直到滿足某種條件為止。按照分類(lèi)原理的不同，可以分為凝聚和分裂兩種方法。優(yōu)點(diǎn)：層次聚類(lèi)最主要的優(yōu)點(diǎn)是集群不再需要假設(shè)為類(lèi)球形。另外其也可以擴(kuò)展到大數(shù)據(jù)集。缺點(diǎn)：有點(diǎn)像 K 均值聚類(lèi)，該算法需要設(shè)定集群的數(shù)量。

圖17  層次聚類(lèi)算法

⑤DBSCAN：這是一個(gè)比較有代表性的基于密度的聚類(lèi)算法。與劃分和層次聚類(lèi)方法不同，它將簇定義為密度相連的點(diǎn)的最大集合，能夠把具有足夠高密度的區(qū)域劃分為簇，并可在噪聲的空間數(shù)據(jù)庫(kù)中發(fā)現(xiàn)任意形狀的聚類(lèi)。它將樣本點(diǎn)的密集區(qū)域組成一個(gè)集群。優(yōu)點(diǎn)：DBSCAN 不需要假設(shè)集群為球狀，并且它的性能是可擴(kuò)展的。此外，它不需要每個(gè)點(diǎn)都被分配到一個(gè)集群中，這降低了集群的異常數(shù)據(jù)。缺點(diǎn)：用戶(hù)必須要調(diào)整「epsilon」和「min＿sample」這兩個(gè)定義了集群密度的超參數(shù)。DBSCAN 對(duì)這些超參數(shù)非常敏感。

圖18 DBSCAN算法

（2）降維算法：其主要特征是將數(shù)據(jù)從高維降低到低維層次，最大程度的保留了數(shù)據(jù)的信息。代表算法是：

①主要代表是主成分分析算法（PCA算法）：主成分分析也稱(chēng)主分量分析，旨在利用降維的思想，把多指標(biāo)轉(zhuǎn)化為少數(shù)幾個(gè)綜合指標(biāo)（即主成分），其中每個(gè)主成分都能夠反映原始變量的大部分信息，且所含信息互不重復(fù)。這種方法在引進(jìn)多方面變量的同時(shí)將復(fù)雜因素歸結(jié)為幾個(gè)主成分，使問(wèn)題簡(jiǎn)單化，同時(shí)得到的結(jié)果更加科學(xué)有效的數(shù)據(jù)信息。

圖19  PCA算法

②局部線性嵌入（Locally linear embeddingLLE）LLE降維算法：一種非線性降維算法，它能夠使降維后的數(shù)據(jù)較好地保持原有 流形結(jié)構(gòu) 。該算法是針對(duì)非線性信號(hào)特征矢量維數(shù)的優(yōu)化方法，這種維數(shù)優(yōu)化并不是僅僅在數(shù)量上簡(jiǎn)單的約簡(jiǎn)，而是在保持原始數(shù)據(jù)性質(zhì)不變的情況下，將高維空間的信號(hào)映射到低維空間上，即特征值的二次提取。

圖20  LLE降維算法

3．強(qiáng)化學(xué)習(xí)（Reinforcement Learning）
    該算法與動(dòng)態(tài)環(huán)境相互作用，把環(huán)境的反饋?zhàn)鳛檩斎�，通過(guò)學(xué)習(xí)選擇能達(dá)到其目標(biāo)的最優(yōu)動(dòng)作。強(qiáng)化學(xué)習(xí)這一方法背后的數(shù)學(xué)原理與監(jiān)督／非監(jiān)督學(xué)習(xí)略有差異。監(jiān)督／非監(jiān)督學(xué)習(xí)更多地應(yīng)用了統(tǒng)計(jì)學(xué)，而強(qiáng)化學(xué)習(xí)更多地結(jié)合了離散數(shù)學(xué)、隨機(jī)過(guò)程這些數(shù)學(xué)方法。常見(jiàn)的算法有：

①TD（λ）算法：TD（temporal differenee）學(xué)習(xí)是強(qiáng)化學(xué)習(xí)技術(shù)中最主要的學(xué)習(xí)技術(shù)之一．TD學(xué)習(xí)是蒙特卡羅思想和動(dòng)態(tài)規(guī)劃思想的結(jié)合，即一方面TD算法在不需要系統(tǒng)模型情況下可以直接從agent經(jīng)驗(yàn)中學(xué)習(xí)；另一方面TD算法和動(dòng)態(tài)規(guī)劃一樣，利用估計(jì)的值函數(shù)進(jìn)行迭代。

圖21  TD（λ）算法

②Q＿learning算法：Q＿learning學(xué)習(xí)是一種模型無(wú)關(guān)的強(qiáng)化學(xué)習(xí)算法 ，又稱(chēng)為離策略TD學(xué)習(xí)（off－policy TD）．不同于TD算法，Q＿learning迭代時(shí)采用狀態(tài)＿動(dòng)作對(duì)的獎(jiǎng)賞和Q （s，a）作為估計(jì)函數(shù)，在Agent每一次學(xué)習(xí)迭代時(shí)都需要考察每一個(gè)行為，可確保學(xué)習(xí)過(guò)程收斂。

圖22   Q＿learning算法