轉(zhuǎn)載本文需注明出處:微信公眾號(hào)EAWorld,違者必究。

作為早期在國(guó)內(nèi)實(shí)現(xiàn)落地的AI應(yīng)用場(chǎng)景,智能客服從2007年開(kāi)始,就逐漸被企業(yè)應(yīng)用,但這種智能客服大多采用預(yù)編程的方式解決客戶(hù)問(wèn)題,呈現(xiàn)出過(guò)于死板,不能多輪對(duì)話等“偽智能”特點(diǎn),現(xiàn)在我們可以稱(chēng)其為第一代智能客服。最近幾年,隨著計(jì)算機(jī)硬件、大數(shù)據(jù)、云計(jì)算、深度學(xué)習(xí)等技術(shù)的發(fā)展,很多大型企業(yè),包括一些中小企業(yè)都升級(jí)到了新一代智能客服。

一套完整的智能客服系統(tǒng)一般包含語(yǔ)音識(shí)別(ASR)、自然語(yǔ)言理解(NLU)、對(duì)話管理(DM)、自然語(yǔ)言生成(NLG)、語(yǔ)音轉(zhuǎn)換(TTS)等五個(gè)主要的功能模塊(這里僅體現(xiàn)自然語(yǔ)言交互這種主要的人機(jī)交互方式),新一代智能客服系統(tǒng)最大的優(yōu)勢(shì)是能降低企業(yè)客服運(yùn)營(yíng)成本、提升用戶(hù)體驗(yàn)。其具體框架結(jié)構(gòu)如下:

在這五大功能模塊中,比較重要的模塊是對(duì)話管理(DM)、自然語(yǔ)言理解(NLU)、自然語(yǔ)言生成(NLG),語(yǔ)音識(shí)別(ASR)與語(yǔ)音轉(zhuǎn)換(TTS)是人機(jī)語(yǔ)音交互時(shí)才會(huì)使用到的模塊。自然語(yǔ)言生成(NLG)由于其可控性較差,有時(shí)候生成的文本并不符合正常的語(yǔ)言邏輯,一般應(yīng)用在對(duì)準(zhǔn)確率要求不是太高的開(kāi)放域?qū)υ捴?而對(duì)話管理(DM)模塊通常在多輪對(duì)話系統(tǒng)中才會(huì)用到,多輪對(duì)話系統(tǒng)作為人工智能領(lǐng)域的典型應(yīng)用場(chǎng)景,也是一項(xiàng)極具挑戰(zhàn)的任務(wù),不僅涉及多方面異構(gòu)知識(shí)的表示、抽取、推理和應(yīng)用(如:語(yǔ)言知識(shí)、領(lǐng)域知識(shí)、常識(shí)知識(shí)等),還涉及包括自然語(yǔ)言理解(NLU),自然語(yǔ)言生成(NLG)在內(nèi)的其他人工智能核心技術(shù)(如:用戶(hù)畫(huà)像, 情感分析等)的綜合利用。

實(shí)現(xiàn)智能客服的方法,可以從最簡(jiǎn)單的“關(guān)鍵字匹配”,到最前沿的深度學(xué)習(xí)“端到端生成”應(yīng)答。分別應(yīng)用到不同的場(chǎng)景:問(wèn)答(QA)、任務(wù)(垂直領(lǐng)域)、閑聊。

我們可以將對(duì)話系統(tǒng)從分成兩層:

意圖識(shí)別層:識(shí)別語(yǔ)言的真實(shí)意圖,將意圖進(jìn)行分類(lèi)并進(jìn)行意圖屬性抽取。意圖決定了后續(xù)的領(lǐng)域識(shí)別流程,因此意圖層是一個(gè)結(jié)合上下文數(shù)據(jù)模型與領(lǐng)域數(shù)據(jù)模型不斷對(duì)意圖進(jìn)行澄清與推理的過(guò)程。

響應(yīng)匹配層:對(duì)問(wèn)題進(jìn)行匹配識(shí)別及生成答案的過(guò)程。由于用戶(hù)問(wèn)題的不可控特性,需要對(duì)用戶(hù)問(wèn)題進(jìn)行初步的類(lèi)型劃分,并且依據(jù)問(wèn)題類(lèi)型采用不同的匹配流程和方法:

問(wèn)答型:例如:“密碼忘了怎么辦?” ,可以采用基于知識(shí)圖譜構(gòu)建+檢索模型的匹配方式。

任務(wù)型:例如:“訂一張周五從北京到洛杉磯的機(jī)票�！�,可以采用意圖決策+slots filling的匹配方式。

閑聊型:例如“你的名字叫什么?” ,可以采用檢索模型+一些Deep Learning相結(jié)合的方式。

意圖識(shí)別:

語(yǔ)言的本質(zhì)是為了傳遞人與人之間的信息(意圖),那么,我們可以定義出N種意圖分類(lèi)。所以,一個(gè)語(yǔ)言模型就是一個(gè)多標(biāo)簽的數(shù)學(xué)模型,把自然語(yǔ)言轉(zhuǎn)成具有結(jié)構(gòu)化的表達(dá),一般具有以下三個(gè)步驟:

文本預(yù)處理:分詞、詞向量、詞義消解等。

樣本準(zhǔn)備:抽取一些有用信息。

序列模型:語(yǔ)言模型,如CNN與LSTM組合的神經(jīng)網(wǎng)絡(luò)或者其他的一些網(wǎng)絡(luò)架構(gòu)。

理解用戶(hù)說(shuō)話的意思,我們分為了三層:

第一層,是理解當(dāng)前聊天處于哪一個(gè)話題,有沒(méi)有切換話題;

第二層,是理解具體的內(nèi)容,含有意圖與實(shí)體;

第三層,是理解當(dāng)前發(fā)言的情感,跟蹤用戶(hù)的情緒變化。

1)話題模型

話題模型是一個(gè)分類(lèi)模型,與后面的應(yīng)答引擎是有對(duì)應(yīng)的關(guān)系,根據(jù)不同的話題,進(jìn)入不同的業(yè)務(wù)流程,所以模型的標(biāo)簽的業(yè)務(wù)的分類(lèi)。

2)意圖理解

作為人機(jī)語(yǔ)言交互的重要核心技術(shù)意圖理解也可看作是分類(lèi)問(wèn)題,為了能夠準(zhǔn)確識(shí)別用戶(hù)當(dāng)前的意圖,一方面需要綜合分析人機(jī)語(yǔ)言交互的上下文環(huán)境來(lái)決策用戶(hù)意圖,另一方面當(dāng)意圖不清時(shí)還需要運(yùn)用響應(yīng)的話術(shù)來(lái)引導(dǎo)用戶(hù)澄清意圖,比如在訂票系統(tǒng)中“出發(fā)地、目的地、時(shí)間點(diǎn)、座位級(jí)別”等要素是離散地分布在一個(gè)會(huì)話中,在抽取保存這些關(guān)鍵信息的同時(shí),還需要引導(dǎo)用戶(hù)給出關(guān)鍵要素點(diǎn)。

為了能使單個(gè)Token充分地表示文本的局部特征以及全局的文本特征,自然語(yǔ)言處理領(lǐng)域的相關(guān)從業(yè)者把大量的工作重心放在了NLU上,傳統(tǒng)模型的Pre-train手段就是語(yǔ)言模型,如ELMo模型就是以BiLSTM為基礎(chǔ)架構(gòu)、用兩個(gè)方向的語(yǔ)言模型分別Pre-train兩個(gè)方向的LSTM,后面的GPT、GPT2是用標(biāo)準(zhǔn)的、單向的語(yǔ)言模型來(lái)預(yù)訓(xùn)練�，F(xiàn)在有了更多的Pre-train方法,比如Bert就用了“MLM-NSP”的方式來(lái)預(yù)訓(xùn)練,不過(guò)這是普通語(yǔ)言模型的一種變體;而XLNet則提出了更徹底的“Permutation Language Modeling”;還有UNILM模型,直接用單個(gè)Bert的架構(gòu)做Seq2Seq,可以將它作為一種Pre-train手段,又或者干脆就用它來(lái)做 Seq2Seq任務(wù)……

除了單向語(yǔ)言模型及其簡(jiǎn)單變體掩碼語(yǔ)言模型之外,UNILM的Seq2Seq預(yù)訓(xùn)練、XLNet的亂序語(yǔ)言模型預(yù)訓(xùn)練,基本可以說(shuō)是專(zhuān)為T(mén)ransformer架構(gòu)定制的。其奧妙主要在 Attention矩陣之上。Attention實(shí)際上相當(dāng)于將輸入的Token兩兩地做算相似度計(jì)算,這構(gòu)成了一個(gè)n2×n2大小的相似度矩陣(即Attention矩陣,n是文本長(zhǎng)度,本文的 Attention均指Self-Attention),這意味著它的空間占用量是O(n2)量級(jí),相比之下,RNN模型、CNN模型只不過(guò)是 O(n),所以實(shí)際上Attention通常更耗顯存。然而,有弊也有利,更大的空間占用也意味著擁有了更多靈活度,我們可以通過(guò)往這個(gè) O(n2)級(jí)別的Attention矩陣加入各種先驗(yàn)約束,使得它可以做更靈活的任務(wù)。而加入先驗(yàn)約束的方式,就是對(duì)Attention矩陣進(jìn)行不同形式的Mask。

在Attention矩陣的每一行事實(shí)上代表著輸出,而每一列代表著輸入,而Attention矩陣就表示輸出和輸入的關(guān)聯(lián)。所以,只需要在Transformer的Attention矩陣中引入下三角形形式的 Mask,并將輸入輸出錯(cuò)開(kāi)一位訓(xùn)練,就可以實(shí)現(xiàn)單向語(yǔ)言模型。亂序語(yǔ)言模型跟語(yǔ)言模型類(lèi)似,都是做條件概率分解,但是亂序語(yǔ)言模型的分解順序是隨機(jī)的。原則上來(lái)說(shuō),每一種順序都對(duì)應(yīng)著一個(gè)模型,所以原則上就有n!個(gè)語(yǔ)言模型。而基于Transformer的模型,則可以將這所有順序都做到一個(gè)模型中去!也就是說(shuō),實(shí)現(xiàn)一種順序的語(yǔ)言模型,就相當(dāng)于將原來(lái)的下三角形式的Mask以某種方式打亂。正因?yàn)锳ttention提供了這樣的一個(gè)n×n的Attention矩陣,我們才有足夠多的自由度去以不同的方式去Mask這個(gè)矩陣,從而實(shí)現(xiàn)多樣化的效果,在引入了魯棒性的同時(shí)也融入了上下文特征。

3)情緒識(shí)別模型

情緒識(shí)別模型同樣是一個(gè)分類(lèi)模型,把用戶(hù)的發(fā)言分為了以下幾種不同級(jí)別的情緒:臟話、憤怒、懊惱、生氣、平和、贊揚(yáng)等。同時(shí)可能還需要對(duì)用戶(hù)進(jìn)行用戶(hù)畫(huà)像以及對(duì)用戶(hù)進(jìn)行實(shí)時(shí)的情感分析來(lái)綜合判別用戶(hù)意圖,比如在導(dǎo)購(gòu)類(lèi)型的客服中經(jīng)常要用到相關(guān)技術(shù)。

響應(yīng)匹配:

目前主流的智能匹配技術(shù)分為如下4種方法:

1,基于模板匹配;

2,基于檢索模型;

3,基于統(tǒng)計(jì)機(jī)器翻譯模型;

4,基于深度學(xué)習(xí)模型;

在實(shí)際落地場(chǎng)景中大多采用基于模板匹配,檢索模型以及深度學(xué)習(xí)模型為基礎(chǔ)的方法原型來(lái)進(jìn)行分場(chǎng)景(問(wèn)答型、任務(wù)型、閑聊型等)的會(huì)話系統(tǒng)構(gòu)建。

問(wèn)答型場(chǎng)景一般解決方式為基于知識(shí)圖譜構(gòu)建+檢索模型匹配。相應(yīng)的使用到的技術(shù)是知識(shí)圖譜構(gòu)建+檢索模型。模型的優(yōu)點(diǎn)是在對(duì)話結(jié)構(gòu)和流程的設(shè)計(jì)中支持實(shí)體間的上下文會(huì)話識(shí)別與推理準(zhǔn)確率高。而缺點(diǎn)是知識(shí)圖譜的構(gòu)建是個(gè)耗時(shí)耗力的大工程,并且模型構(gòu)建初期可能會(huì)存在數(shù)據(jù)的松散和覆蓋率問(wèn)題,導(dǎo)致匹配的覆蓋率缺失等問(wèn)題,而且比傳統(tǒng)的QA Pair對(duì)知識(shí)維護(hù)上的成本高。

處理流程如下圖:

任務(wù)型場(chǎng)景一般的解決方式為意圖決策+slot filling的匹配。應(yīng)用到的相關(guān)技術(shù)有意圖決策+slot filling。處理流程為首先按照任務(wù)領(lǐng)域進(jìn)行本體知識(shí)的構(gòu)建,例如機(jī)票的領(lǐng)域本體知識(shí)場(chǎng)景如下:

在問(wèn)答匹配過(guò)程中結(jié)合上下文模型和領(lǐng)域數(shù)據(jù)模型不斷在Query中進(jìn)行slot屬性的提取,并循環(huán)進(jìn)行本體意圖樹(shù)的不斷填充和修改,直到必選意圖樹(shù)填充完整后進(jìn)行輸出。

閑聊型場(chǎng)景一般解決方式為檢索模型與Deep Learning結(jié)合。一般采用的技術(shù)為生成式模型+檢索式模型方式。相應(yīng)的處理流程是先通過(guò)傳統(tǒng)的檢索模型檢索出候選集數(shù)據(jù),然后通過(guò)Seq2Seq Model對(duì)候選集進(jìn)行重排,重排序后超過(guò)制定的閾值就進(jìn)行輸出,不到閾值就通過(guò)Seq2Seq Model進(jìn)行答案生成。

生成式模型的優(yōu)點(diǎn)是可以通過(guò)深層語(yǔ)義方式進(jìn)行答案生成,答案不受語(yǔ)料庫(kù)規(guī)模限制,而缺點(diǎn)為模型的可解釋性不強(qiáng),且難以保證一致性和合理性回答,可控性較差。

檢索模型的優(yōu)點(diǎn)為答案在預(yù)設(shè)的語(yǔ)料庫(kù)中,可控,匹配模型相對(duì)簡(jiǎn)單,可解釋性強(qiáng)。相應(yīng)的缺點(diǎn)為在一定程度上缺乏一些語(yǔ)義性,且有固定語(yǔ)料庫(kù)的局限性。