社交平臺(tái)、短視頻平臺(tái)等公共網(wǎng)絡(luò)場(chǎng)所，已經(jīng)成為網(wǎng)絡(luò)暴力行為的高發(fā)地。

在剛結(jié)束的冬奧會(huì)上，就有不少人通過(guò)網(wǎng)絡(luò)平臺(tái)的評(píng)論和私信功能，對(duì)冬奧選手進(jìn)行詆毀、侮辱攻擊、散布不實(shí)謠言，對(duì)冬奧觀賽和社區(qū)氛圍造成了極大的傷害。

事實(shí)上，網(wǎng)絡(luò)暴力由來(lái)已久。

由于網(wǎng)絡(luò)暴力往往處于灰色地帶，大部分暴力行為都尚未構(gòu)成誹謗和侮辱，因此很難對(duì)網(wǎng)絡(luò)暴力實(shí)施者處以刑罰或者行政處罰。

網(wǎng)民的言論只要不超越法律底線，有權(quán)自由發(fā)表言論。

為了應(yīng)對(duì)網(wǎng)絡(luò)暴力行為，全球大多數(shù)的社交平臺(tái)都采用了言論投訴、評(píng)論過(guò)濾、評(píng)論／私信關(guān)閉、好友關(guān)注過(guò)濾等功能，在一定程度上緩解網(wǎng)絡(luò)霸凌的問(wèn)題。

但限制性的功能類似于黑名單，并不能完全將網(wǎng)絡(luò)暴力扼殺在搖籃，只能在惡意語(yǔ)言／圖片／視頻出現(xiàn)后進(jìn)行封堵，不幸的是負(fù)面影響已經(jīng)擴(kuò)散開(kāi)來(lái)。

那么，能否采用技術(shù)的手段從源頭就識(shí)別網(wǎng)絡(luò)暴力行為呢？

01

以AI技術(shù)制止網(wǎng)絡(luò)暴力

成為全球研究者共同的選擇

2016年，以“賈斯汀·比伯退出Instagram”為導(dǎo)火索，Instagram首次推出了負(fù)面評(píng)論過(guò)濾功能。之后，Instagram還通過(guò)機(jī)器學(xué)習(xí)來(lái)處理含有攻擊性信息的照片。

2019年，Instagram又推出兩大反網(wǎng)絡(luò)暴力功能，即言論提醒和自主選定黑粉功能，用來(lái)幫用戶抵制網(wǎng)絡(luò)暴力。

其中，言論提醒功能利用AI技術(shù)，在冒犯性言論發(fā)表之前，向發(fā)言者發(fā)出提醒。比如：當(dāng)某用戶輸入了“你又丑又蠢�！辈Ⅻc(diǎn)擊發(fā)布時(shí)，AI會(huì)發(fā)出“請(qǐng)為Instagram保持一個(gè)友好環(huán)境”的提醒。

“通過(guò)獲得這種干預(yù)，人們有機(jī)會(huì)反思和撤銷他們的評(píng)論，使收件人避免收到有害評(píng)論通知�！盜nstagram主管Adam Mosseri表示，“經(jīng)測(cè)試，我們發(fā)現(xiàn)這項(xiàng)功能確實(shí)有引導(dǎo)作用，能使一些用戶撤銷評(píng)論或修改評(píng)論內(nèi)容�！�

近日，抖音也推出了類似的防網(wǎng)暴功能，并升級(jí)為AI技術(shù)和人工審核相結(jié)合的方式，對(duì)違規(guī)用戶進(jìn)行引導(dǎo)和幫助。

當(dāng)用戶發(fā)布違規(guī)或低質(zhì)評(píng)論之后，抖音會(huì)對(duì)該評(píng)論進(jìn)行模型匹配和校驗(yàn)，用戶會(huì)立即收到評(píng)論彈窗警示，提示“該評(píng)論可能對(duì)他人造成負(fù)面影響”，給用戶一個(gè)回心轉(zhuǎn)意的機(jī)會(huì)。

當(dāng)然，彈窗可以跳過(guò)并繼續(xù)發(fā)布評(píng)論，但將不會(huì)被其它人看見(jiàn)，此時(shí)評(píng)論會(huì)進(jìn)入正常審核邏輯，真正的違規(guī)評(píng)論依然會(huì)被處理。

此外，抖音在防網(wǎng)暴系統(tǒng)中還新增了名為“心情暖寶寶”的平臺(tái)助手。

如果用戶多次違規(guī)發(fā)布私信、評(píng)論，AI算法可以自動(dòng)匹配觸發(fā)“心情暖寶寶”，用消息對(duì)話嘗試緩解用戶的抑郁情緒，甚至引導(dǎo)用戶去人工求助、線下就診。

此外，用戶也可以自主在推薦、搜索、評(píng)論等場(chǎng)景減少負(fù)面內(nèi)容推薦。

除了識(shí)別謾罵／騷擾信息等明顯的負(fù)向內(nèi)容，如：反諷攻擊、答非所問(wèn)、垃圾廣告導(dǎo)流這類“陰陽(yáng)怪氣”的內(nèi)容，在不同討論語(yǔ)境下也會(huì)引發(fā)不同情緒，這更為AI算法識(shí)別帶來(lái)了極大挑戰(zhàn)。

對(duì)此，2018年知乎就通過(guò)AI技術(shù)嘗試處理陰陽(yáng)怪氣的言論�！巴吡Α弊鳛橹�乎社區(qū)治理的算法機(jī)器人之一，能在0．3秒內(nèi)識(shí)別判斷內(nèi)容是否為不友善、答非所問(wèn)、陰陽(yáng)怪氣等多種需被折疊的答案。

“我們基于對(duì)于用戶切實(shí)體驗(yàn)的累積觀察，與算法團(tuán)隊(duì)一起，從情感傾向性、親密關(guān)系、文本特征三方面入手，訓(xùn)練出能夠識(shí)別陰陽(yáng)怪氣的算法模型。

目前‘瓦力’對(duì)陰陽(yáng)怪氣評(píng)論文本的識(shí)別準(zhǔn)確率，已非常接近社區(qū)最大公約數(shù)，比很多人工判斷都更準(zhǔn)�！敝�乎運(yùn)營(yíng)總監(jiān)孫達(dá)云表示。

所謂“社區(qū)最大公約數(shù)”指的是社區(qū)共識(shí)，即長(zhǎng)久積淀下來(lái)知乎和用戶共同認(rèn)可的一種公約，知乎稱之為知友們對(duì)價(jià)值判斷的最大公約數(shù)，比如“知乎不讓罵人”，比如“對(duì)優(yōu)質(zhì)內(nèi)容的界定”等。

知乎在過(guò)去多年中所累積的“舉報(bào)”等帶有用戶篩查性質(zhì)的行為語(yǔ)料和豐富的社區(qū)管理經(jīng)驗(yàn)，使得知乎得以邁出關(guān)鍵一步：用社區(qū)最大公約數(shù)作為判定尺度。

在算法方面，通過(guò)400多個(gè)前沿的深度學(xué)習(xí)模型識(shí)別過(guò)億內(nèi)容，現(xiàn)在的知乎平臺(tái)，可以智能地進(jìn)行傾向性識(shí)別、爆照識(shí)別、風(fēng)險(xiǎn)圖片識(shí)別等等。