對網(wǎng)絡暴力Say NO!AI算法如何辨“好壞”?
社交平臺、短視頻平臺等公共網(wǎng)絡場所,已經(jīng)成為網(wǎng)絡暴力行為的高發(fā)地。
在剛結束的冬奧會上,就有不少人通過網(wǎng)絡平臺的評論和私信功能,對冬奧選手進行詆毀、侮辱攻擊、散布不實謠言,對冬奧觀賽和社區(qū)氛圍造成了極大的傷害。
事實上,網(wǎng)絡暴力由來已久。
由于網(wǎng)絡暴力往往處于灰色地帶,大部分暴力行為都尚未構成誹謗和侮辱,因此很難對網(wǎng)絡暴力實施者處以刑罰或者行政處罰。
網(wǎng)民的言論只要不超越法律底線,有權自由發(fā)表言論。
為了應對網(wǎng)絡暴力行為,全球大多數(shù)的社交平臺都采用了言論投訴、評論過濾、評論/私信關閉、好友關注過濾等功能,在一定程度上緩解網(wǎng)絡霸凌的問題。
但限制性的功能類似于黑名單,并不能完全將網(wǎng)絡暴力扼殺在搖籃,只能在惡意語言/圖片/視頻出現(xiàn)后進行封堵,不幸的是負面影響已經(jīng)擴散開來。
那么,能否采用技術的手段從源頭就識別網(wǎng)絡暴力行為呢?
01
以AI技術制止網(wǎng)絡暴力
成為全球研究者共同的選擇
2016年,以“賈斯汀·比伯退出Instagram”為導火索,Instagram首次推出了負面評論過濾功能。之后,Instagram還通過機器學習來處理含有攻擊性信息的照片。
2019年,Instagram又推出兩大反網(wǎng)絡暴力功能,即言論提醒和自主選定黑粉功能,用來幫用戶抵制網(wǎng)絡暴力。
其中,言論提醒功能利用AI技術,在冒犯性言論發(fā)表之前,向發(fā)言者發(fā)出提醒。比如:當某用戶輸入了“你又丑又蠢!辈Ⅻc擊發(fā)布時,AI會發(fā)出“請為Instagram保持一個友好環(huán)境”的提醒。
“通過獲得這種干預,人們有機會反思和撤銷他們的評論,使收件人避免收到有害評論通知!盜nstagram主管Adam Mosseri表示,“經(jīng)測試,我們發(fā)現(xiàn)這項功能確實有引導作用,能使一些用戶撤銷評論或修改評論內(nèi)容!
近日,抖音也推出了類似的防網(wǎng)暴功能,并升級為AI技術和人工審核相結合的方式,對違規(guī)用戶進行引導和幫助。
當用戶發(fā)布違規(guī)或低質(zhì)評論之后,抖音會對該評論進行模型匹配和校驗,用戶會立即收到評論彈窗警示,提示“該評論可能對他人造成負面影響”,給用戶一個回心轉(zhuǎn)意的機會。
當然,彈窗可以跳過并繼續(xù)發(fā)布評論,但將不會被其它人看見,此時評論會進入正常審核邏輯,真正的違規(guī)評論依然會被處理。
此外,抖音在防網(wǎng)暴系統(tǒng)中還新增了名為“心情暖寶寶”的平臺助手。
如果用戶多次違規(guī)發(fā)布私信、評論,AI算法可以自動匹配觸發(fā)“心情暖寶寶”,用消息對話嘗試緩解用戶的抑郁情緒,甚至引導用戶去人工求助、線下就診。
此外,用戶也可以自主在推薦、搜索、評論等場景減少負面內(nèi)容推薦。
除了識別謾罵/騷擾信息等明顯的負向內(nèi)容,如:反諷攻擊、答非所問、垃圾廣告導流這類“陰陽怪氣”的內(nèi)容,在不同討論語境下也會引發(fā)不同情緒,這更為AI算法識別帶來了極大挑戰(zhàn)。
對此,2018年知乎就通過AI技術嘗試處理陰陽怪氣的言論!巴吡Α弊鳛橹跎鐓^(qū)治理的算法機器人之一,能在0.3秒內(nèi)識別判斷內(nèi)容是否為不友善、答非所問、陰陽怪氣等多種需被折疊的答案。
“我們基于對于用戶切實體驗的累積觀察,與算法團隊一起,從情感傾向性、親密關系、文本特征三方面入手,訓練出能夠識別陰陽怪氣的算法模型。
目前‘瓦力’對陰陽怪氣評論文本的識別準確率,已非常接近社區(qū)最大公約數(shù),比很多人工判斷都更準。”知乎運營總監(jiān)孫達云表示。
所謂“社區(qū)最大公約數(shù)”指的是社區(qū)共識,即長久積淀下來知乎和用戶共同認可的一種公約,知乎稱之為知友們對價值判斷的最大公約數(shù),比如“知乎不讓罵人”,比如“對優(yōu)質(zhì)內(nèi)容的界定”等。
知乎在過去多年中所累積的“舉報”等帶有用戶篩查性質(zhì)的行為語料和豐富的社區(qū)管理經(jīng)驗,使得知乎得以邁出關鍵一步:用社區(qū)最大公約數(shù)作為判定尺度。
在算法方面,通過400多個前沿的深度學習模型識別過億內(nèi)容,現(xiàn)在的知乎平臺,可以智能地進行傾向性識別、爆照識別、風險圖片識別等等。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-10.29立即報名>> 2024德州儀器嵌入式技術創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報名>> 2024工程師系列—工業(yè)電子技術在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
推薦專題
-
10 百度搜索,正在被平替
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價拍賣
- 5 具身智能火了,但規(guī)模落地還需時間
- 6 三次錯失風口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 7 國產(chǎn)英偉達們,抓緊沖刺A股
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實力拉滿
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結構工程師 廣東省/深圳市