02

制止網(wǎng)絡(luò)暴力背后的AI技術(shù)：

自然語(yǔ)言處理

在人類(lèi)無(wú)法兼顧的海量信息中，AI技術(shù)的介入顯然為制止網(wǎng)絡(luò)暴力提供了一條捷徑。

想要對(duì)評(píng)論、彈幕這樣成千上萬(wàn)的非結(jié)構(gòu)化語(yǔ)言數(shù)據(jù)進(jìn)行分析，自然語(yǔ)言處理（NLP）就成為研究者必須面對(duì)的核心AI技術(shù)。

作為AI的一個(gè)子領(lǐng)域，自然語(yǔ)言處理致力于讓計(jì)算機(jī)也能夠理解和處理人類(lèi)語(yǔ)言，使計(jì)算機(jī)更接近于人類(lèi)對(duì)語(yǔ)言的理解。

事實(shí)上，人類(lèi)讀寫(xiě)文字的歷史已經(jīng)有幾千年了，我們的大腦在理解自然語(yǔ)言方面積攢了大量的經(jīng)驗(yàn)。

當(dāng)我們閱讀文字時(shí)，很快就能明白其中的含義，并感受到這些東西引發(fā)的情感。

但是想讓機(jī)器也擁有人類(lèi)對(duì)語(yǔ)言的理解和情感，是一件非常困難的事情。之所以自然語(yǔ)言處理技術(shù)被譽(yù)為“人工智能皇冠上的明珠”，一方面表明了它的重要性，另一方面也顯現(xiàn)出了它的技術(shù)難度。

如今，深度學(xué)習(xí)的興起，讓自然語(yǔ)言處理技術(shù)得以進(jìn)一步發(fā)展，讓機(jī)器能夠自動(dòng)學(xué)習(xí)語(yǔ)言特征，掌握更高層次、更加抽象的語(yǔ)言特征，目前已廣泛應(yīng)用于機(jī)器翻譯、輿情監(jiān)測(cè)、自動(dòng)摘要、觀點(diǎn)提取、文本分類(lèi)、問(wèn)題回答、文本語(yǔ)義對(duì)比、語(yǔ)音識(shí)別、中文OCR等方面。

在生活中，從語(yǔ)音助手Siri、微軟小冰、小愛(ài)同學(xué)，到語(yǔ)音輸入、谷歌翻譯、水軍檢測(cè)等，隨處可見(jiàn)自然語(yǔ)言處理技術(shù)。

那么，在制止網(wǎng)絡(luò)暴力方面，自然語(yǔ)言處理技術(shù)是如何應(yīng)用的？具體而言，涉及以下幾個(gè)方向：

情緒解析

情緒極值：以50分為分界，對(duì)整體正負(fù)面情感特征打分；

十二種細(xì)節(jié)情緒：根據(jù)Plutchik情感輪理論體系，識(shí)別語(yǔ)義中12種不同細(xì)節(jié)情緒；

情緒值／濃度：計(jì)算出語(yǔ)句的情緒濃度，即反映了特定情感的激烈程度；

情感關(guān)鍵詞：從文本中智能識(shí)別并提煉對(duì)文本整體情緒影響最大的關(guān)鍵信息。

基于情緒解析引擎，可以針對(duì)某條內(nèi)容所表達(dá)的情緒極值以及十二種細(xì)節(jié)情緒進(jìn)行全量分析，從而詳細(xì)了解千萬(wàn)條評(píng)論內(nèi)容中網(wǎng)民們的整體情緒分布；

其次，還可根據(jù)時(shí)間段來(lái)看隨著時(shí)間的推移網(wǎng)友們對(duì)這件事的態(tài)度的變化，即是否還是那么厭惡／喜歡；

再者，結(jié)合第三方數(shù)據(jù)——如用戶(hù)地域、性別等信息，還可以對(duì)不同人群的肖像進(jìn)行更精細(xì)地刻畫(huà)。

文本觀點(diǎn)提取

基于知識(shí)圖譜以及字詞間的相似度計(jì)算，高度精煉、概括每段話(huà)的核心表達(dá)觀點(diǎn)。

例如：“喜歡這個(gè)妝容，但是口紅顏色太深了”，觀點(diǎn)1：妝好；觀點(diǎn)2：口紅深。

對(duì)海量評(píng)論進(jìn)行觀點(diǎn)提取，可以精準(zhǔn)、高效地總結(jié)不同網(wǎng)民對(duì)于同一件事件所表達(dá)出的不同觀點(diǎn)，并可以對(duì)其進(jìn)行歸類(lèi)和比較，幫助分析人員在第一時(shí)間獲取用戶(hù)的關(guān)注熱點(diǎn)信息或是用戶(hù)最反感的主要問(wèn)題等關(guān)鍵信息。

文本相似度判斷

一對(duì)一、一對(duì)多或多對(duì)一的文本匹配，從理解不同字詞所表達(dá)的含義入手，結(jié)合知識(shí)圖譜，判斷兩段文本核心觀點(diǎn)的一致程度。

例如：對(duì)同一事件或兩個(gè)不同事件的評(píng)論進(jìn)行相似度對(duì)比，可以根據(jù)結(jié)果看看用戶(hù)在用詞或表達(dá)上有什么共同點(diǎn)。不同事件間的評(píng)論對(duì)比，還能幫助發(fā)現(xiàn)“惡性”事件及其評(píng)論內(nèi)容之間的潛在關(guān)系，甚至能洞察出某件事／某個(gè)人近期的活動(dòng)形象會(huì)不會(huì)影響對(duì)其輿論的積極／消極性．

詞法分析

句式分析：對(duì)文本內(nèi)容中字詞的解讀，依照文本核心觀點(diǎn)表達(dá)，將字詞拆分成有語(yǔ)法含義的序列；

詞法分析：基于知識(shí)圖譜以及字詞間的關(guān)系分析，可以展示出每個(gè)字詞的詞性和語(yǔ)法結(jié)構(gòu)。

針對(duì)網(wǎng)民們成千上萬(wàn)條評(píng)論，可以通過(guò)詞法分析引擎來(lái)觀察積極評(píng)論或消極評(píng)論分別常用的用詞習(xí)慣、句式、詞法。

從中可以總結(jié)出當(dāng)下網(wǎng)民普遍所使用的的話(huà)術(shù)／用詞習(xí)慣，以及不同人群在表達(dá)自己觀點(diǎn)時(shí)所特有的語(yǔ)言特點(diǎn)。

總體而言，基于自然語(yǔ)言處理的技術(shù)手段對(duì)網(wǎng)絡(luò)暴力文本進(jìn)行分析，不僅能及時(shí)控制負(fù)面影響擴(kuò)散，也能讓監(jiān)管機(jī)構(gòu)和平臺(tái)運(yùn)營(yíng)商更好地了解網(wǎng)絡(luò)暴力事件產(chǎn)生成因。

03

AI算法升級(jí)：

上演“疑犯追蹤”

如果說(shuō)自然語(yǔ)言處理是基于對(duì)網(wǎng)絡(luò)暴力文本及用戶(hù)行為的綜合分析，當(dāng)不能檢測(cè)評(píng)論內(nèi)容的情況下，能否精準(zhǔn)地識(shí)別出潛在的網(wǎng)絡(luò)暴力者？

近日，日本德島大學(xué)的計(jì)算機(jī)研究者聯(lián)合日本大型網(wǎng)絡(luò)公司代理商Cyber Agent在《人類(lèi)行為計(jì)算》上發(fā)表論文，他們用機(jī)器學(xué)習(xí)的方法，分析了Cyber Agent旗下一款社交類(lèi)游戲的使用數(shù)據(jù)，并且在不監(jiān)測(cè)聊天內(nèi)容的情況下，僅基于聊天次數(shù)、聊天對(duì)象、聊天時(shí)間等基本信息，就能較為精準(zhǔn)地識(shí)別出潛在網(wǎng)絡(luò)違法者，并預(yù)測(cè)出違法行為的大概時(shí)間。

研究者基于兩種傳統(tǒng)犯罪學(xué)理論開(kāi)發(fā)了這套算法：日常活動(dòng)理論和社會(huì)傳染理論。

日�；顒�(dòng)理論提出，許多犯罪行為并不是隨機(jī)發(fā)生的，犯罪者和被害人往往在日�；顒�(dòng)中有交集。

例如，在現(xiàn)實(shí)生活中，小偷在盜竊前會(huì)去目標(biāo)地點(diǎn)踩點(diǎn)，并觀察目標(biāo)人物的行為規(guī)律；同樣的，網(wǎng)絡(luò)上的犯罪者更需要提前與“獵物”取得聯(lián)系，套取信任。

因此，玩家的社交活動(dòng)數(shù)據(jù)中或許就藏著“犯罪預(yù)告”。

另外，社會(huì)傳染理論還補(bǔ)充了重要的一點(diǎn)：違法傾向或違法行為也會(huì)傳染。最常見(jiàn)的例子就是網(wǎng)絡(luò)暴力。

網(wǎng)絡(luò)暴力往往來(lái)源于某種過(guò)激情緒的廣泛傳播：在群體的裹挾下，有的人不知不覺(jué)就失去了獨(dú)立判斷能力，無(wú)意間成為了網(wǎng)上的施暴者。

在這兩種理論的基礎(chǔ)上，研究者選擇了是一款名叫Pigg Party的手機(jī)游戲。

它主打社交功能，用戶(hù)登錄賬號(hào)后，可以裝扮虛擬的房間和個(gè)人形象，與朋友或陌生人以私聊、群聊、公聊的方式進(jìn)行交流。

研究人員采用擅長(zhǎng)從復(fù)雜數(shù)據(jù)中提取特征的算法——多層非線(xiàn)性模型，對(duì)55萬(wàn)用戶(hù)6個(gè)月內(nèi)產(chǎn)生的聊天數(shù)據(jù)，包括每名用戶(hù)的聊天頻率、聊天時(shí)間、消息的接收者等進(jìn)行了分析。

研究者組合多種神經(jīng)網(wǎng)絡(luò)模型和算法，搭建了預(yù)測(cè)違法事件的人工智能。

性能測(cè)試結(jié)果顯示， AI能根據(jù)用戶(hù)數(shù)據(jù)，較為準(zhǔn)確地預(yù)測(cè)未來(lái)的違法者和受害者賬戶(hù)。輸入用戶(hù)兩個(gè)月內(nèi)聊天的時(shí)間、頻率、對(duì)象，AI對(duì)接下來(lái)兩個(gè)月內(nèi)違法賬戶(hù)的預(yù)測(cè)準(zhǔn)確率可以達(dá)到84．85％，對(duì)受害者賬戶(hù)的預(yù)測(cè)準(zhǔn)確度也接近85％。

除了對(duì)個(gè)體賬戶(hù)違法或受害的風(fēng)險(xiǎn)有較好的預(yù)測(cè)能力外，只需提供一周內(nèi)的用戶(hù)活動(dòng)數(shù)據(jù)，AI就能基本精準(zhǔn)地預(yù)測(cè)接下來(lái)的一周網(wǎng)絡(luò)社區(qū)里發(fā)生違法事件的時(shí)間，對(duì)小時(shí)和日期的預(yù)測(cè)準(zhǔn)確率高達(dá)95．83％和85．71％，并且結(jié)果與預(yù)測(cè)受害給出的時(shí)間相吻合。 更有趣的是，AI分析數(shù)據(jù)后預(yù)警發(fā)生違法事件的時(shí)間，并不一定處在以往發(fā)生違法事件的時(shí)間段中，可見(jiàn)它掌握的并不僅僅是固定的規(guī)則，還有違法者言行中的真正“邏輯”。 研究者認(rèn)為，借助AI，系統(tǒng)管理員能更好地維護(hù)網(wǎng)絡(luò)安全和用戶(hù)權(quán)益。盡管目前的AI并且不能進(jìn)一步預(yù)測(cè)違法事件的具體類(lèi)型，但它或許能抓住網(wǎng)絡(luò)上“隱形”的違法者，更好地保護(hù)我們的安全。

       原文標(biāo)題 : 對(duì)網(wǎng)絡(luò)暴力Say NO！AI算法如何辨“好壞”？