在日常生活之外，多模態(tài)交互設(shè)備也在應(yīng)用于工業(yè)設(shè)備中。比如通過給機(jī)器設(shè)備搭載機(jī)器視覺+傳感器提供安全警告，以及利用機(jī)器視覺+故障信號的方式判斷設(shè)備問題等。

把不同信號模態(tài)整合在一起，實(shí)現(xiàn)設(shè)備的多維感知，今天正在以比較快的速度來到應(yīng)用市場。

高精度判斷用戶命令，輸出主動(dòng)服務(wù)；提供實(shí)時(shí)化、彈性化的體驗(yàn)，可以說是AI帶來的多模態(tài)交互技術(shù)放進(jìn)物聯(lián)網(wǎng)世界中的一張鬼牌。

當(dāng)然了，還是有幾道難關(guān)……

按照慣例，最后我們還是要正視任何技術(shù)都存在不足。剛剛有一點(diǎn)萌芽的多模態(tài)交互+物聯(lián)網(wǎng)當(dāng)然也不例外。

最核心的一個(gè)問題，是我們到底靠什么實(shí)現(xiàn)多模態(tài)協(xié)同？

目前來看，無論是家電還是工業(yè)設(shè)備，實(shí)現(xiàn)多模態(tài)混合的主要方式還是把不同的傳感源輸入到設(shè)備處理中心，啟動(dòng)一定程序來開啟相應(yīng)服務(wù)。

換句話說，AI模型本身是沒法理解多模態(tài)信號的，只是不同的算法啟動(dòng)不同的開關(guān)而已。這種“偽AI多模態(tài)”的設(shè)備也不是不行，只是在實(shí)時(shí)化和復(fù)雜的推理判斷上會(huì)有心無力。

解決方案可能是一種叫做“多模態(tài)深度學(xué)習(xí)”的技術(shù)，讓AI智能體本身能夠理解多模態(tài)信號，從算法本身就容納聽覺、視覺、傳感信號進(jìn)行統(tǒng)一思考。這樣可以保證設(shè)備高度實(shí)時(shí)化，并且可以讓設(shè)備進(jìn)行多模態(tài)協(xié)同學(xué)習(xí)，真正地“聰明”起來。

這要求在算法上對多維度數(shù)據(jù)的各自表示、融合、對齊有新的突破，今天我們還只能等待學(xué)術(shù)界的好消息。

另外一個(gè)問題，是今天的多模態(tài)交互缺少有效的開發(fā)平臺(tái)，開發(fā)者和企業(yè)很難復(fù)制這一模式，來進(jìn)行獨(dú)立的物聯(lián)網(wǎng)解決方案開發(fā)。當(dāng)然，目前來看這應(yīng)該僅僅是個(gè)時(shí)間問題。

與之相對應(yīng)的，是在缺乏行業(yè)標(biāo)準(zhǔn)、開發(fā)基礎(chǔ)的前提下，今天開發(fā)一個(gè)多模態(tài)物聯(lián)網(wǎng)項(xiàng)目需要大量的人才成本和綜合開發(fā)成本。并且缺少芯片、專用傳感器等后端硬件的支撐。這個(gè)領(lǐng)域國內(nèi)有一些芯片和算法公司，但似乎大部分處在做PPT的畫餅階段。

綜合來看，AI帶來的多模態(tài)想象力，大概確實(shí)可以完成一些物聯(lián)網(wǎng)很早就希望實(shí)現(xiàn)的東西。但方興未艾的產(chǎn)業(yè)局勢，還需要巨頭搭建平臺(tái)、優(yōu)質(zhì)案例出現(xiàn)、開發(fā)者路徑明確等幾個(gè)環(huán)節(jié)才能開啟下一輪風(fēng)口。

但無論如何，耳聰目明的機(jī)器，已經(jīng)在跑步過來的路上了……