但實踐下來發(fā)現(xiàn)，這種模式問題還是不少：

比如語言控制不如屏幕控制那么精準，很多時候會誤判指令和錯誤喚醒，比較語言充滿了不確定性；

再比如，語音交互的物聯(lián)網設備還是缺乏主動服務的能力，只是換了操作方式而已，用戶體驗沒有本質提升。

僅僅是“能聽”，并且還經常聽錯的物聯(lián)網設備，就像是兩個人談戀愛，其中一方從來不看你，不會知冷知熱、噓寒問暖，還經常搞錯對方的意思，那另一方當然表示我懶得理你……

目前來看，把按鈕換成了語音命令平臺，隱藏的不確定性太多，而實際價值太少，很難成為物聯(lián)網爆發(fā)的真正依托。

這種“你不溫柔我不主動”的人機關系究竟怎么改變呢？

答案也許是讓機器能夠聽和說之外，還要能看，能感覺，甚至能將五感聯(lián)系到一起進行思考。

感知到交互：機器的五感俱全

所謂“模態(tài)modality”，是德國生理學家赫爾姆霍茨提出一種生物學概念。即生物憑借感知器官與經驗來接受信息的通道，比如人類有視覺模態(tài)、聽覺模態(tài)等等。

后來這個概念引申到人文科學領域，成為哲學和文學上的一種話語批評方式；而來到機器人和計算機科學領域，就成了機器與物理世界聯(lián)系的通道。

假如我們把“模態(tài)”通俗地理解為感官，那么智能音箱就是只具備聽覺模態(tài)的物聯(lián)網設備，而加載AI分析能力的攝像頭可以視為視覺模態(tài)的物聯(lián)網設備。把聽覺、視覺甚至更多模態(tài)組合到一起，多模態(tài)物聯(lián)網也就誕生了。

事實上，在AI研究當中多模態(tài)轉換是非常普遍的課題。比如一個很出名的AI研究方向是讓智能體根據(jù)看到的某張圖片來生成文字（也有看到文字生成圖片和視頻的），這就是讓AI模型完成在視覺和語義之間的模態(tài)轉換。

運用到物聯(lián)網設備當中，今天主要的AI感知模態(tài)有三種：

1.語音交互，包括語音指令控制、語義理解、多輪對話、NLP、語音精準識別等領域；

2. 機器視覺，包括自然物體識別、人臉識別、肢體動作識別等；

3. 傳感器智能，包括AI對熱量、紅外捕捉信號、空間信號的閱讀與理解。

把這三種東西融合在一起，物聯(lián)網設備就可以在單純的能聽會說之外，同時還用攝像頭觀察、用傳感器判斷。而比較前沿的多模態(tài)感知研究當中，還包括機器嗅覺，機器觸覺和情緒理解等內容。

我們在等待的下一代物聯(lián)網設備，很可能訣竅就是把這些模態(tài)給揉在一起，完成從多模態(tài)感知到多模態(tài)交互的體驗。用一句我們十分熟悉的話說，就是要讓機器身上的五感“生態(tài)化反”……

今天讓人樂觀的多模態(tài)交互型IoT

又能聽，又能看，又有傳感器的設備，聽上去似乎有點過分樂觀了。但好在綜合了較多采訪與觀察之后，我們發(fā)現(xiàn)今年確實是值得為多模態(tài)物聯(lián)網設備樂觀一下的時候。

可以看到，很多雙模態(tài)交互，甚至多模態(tài)混合交互的解決方案都在從實驗室里走出來，甚至已經可以在我們生活中看到。這些解決方案更重要價值是作為案例，可以讓更多企業(yè)、開發(fā)者和垂直行業(yè)看到多模態(tài)物聯(lián)網的可復制價值。

舉例來說，離我們最近的多模態(tài)AI交互技術投射在物聯(lián)網設備上，大概就是用機器視覺技術進行嘴唇識別，來分離語音交互指令。我們可以看到很多實驗室和科技公司，都在嘗試用機器視覺來讀取說話人的唇語和動作，從而判斷每個聲音指令的來源。

這種技術已經在國內被運用到地鐵售票解決方案中，通過機器視覺來識別買票人，從而在地鐵站的嘈雜環(huán)境中完成語音售票。

另一個我們能看到的例子是空調。在一些新的智能空調解決方案中，空調會在語音交互的基礎上通過機器視覺來判斷用戶的位置，提供智能送冷，并且會結合傳感器判斷屋內溫度和濕度，提供更精準的環(huán)境方案。

同樣是在家電上，今年電視背后的AI平臺戰(zhàn)打得風生水起，把機器視覺技術引入電視成為了新的趨勢。通過機器視覺來讓電視觀察屋內照明情況、用戶與電視的距離，電視可以主動調節(jié)屏幕光線強度，輸出比較護眼的模式。還有的AI應用是讓電視在觀察到兒童看電視后主動開啟童鎖。