大語(yǔ)言模型數(shù)據(jù)泄露堪憂，超自動(dòng)化Agent成解決之道

數(shù)據(jù)泄露成LLM應(yīng)用最大障礙，看實(shí)在智能如何用AI Agent破解謎題

從實(shí)在RPA Agent智能體安全機(jī)制，看AI Agent如何破解LLM應(yīng)用安全謎題

文/王吉偉

阻礙廣大企業(yè)應(yīng)用大語(yǔ)言模型（LLM，Large Langeuage Models）的諸多因素中，無(wú)疑數(shù)據(jù)安全是最重要的。

3月份ChatGPT發(fā)生了用戶隱私數(shù)據(jù)泄露事件，OpenAI聲明由于開源代碼庫(kù)中存在一個(gè)漏洞，使得部分用戶能夠看到另一個(gè)用戶的聊天標(biāo)題記錄，并把ChatGPT短暫下線緊急修補(bǔ)了此漏洞。

此事件，讓大家認(rèn)識(shí)到大模型并不是“大安全”。

更要命的，是用戶使用LLM時(shí)會(huì)不經(jīng)意輸入敏感數(shù)據(jù)。僅在三月份，三星內(nèi)部就發(fā)生了三起誤用及濫用ChatGPT案例，其中兩起關(guān)于三星半導(dǎo)體設(shè)備，一起關(guān)于三星內(nèi)部會(huì)議內(nèi)容。

以致有網(wǎng)友調(diào)侃，三星再多幾次敏感數(shù)據(jù)泄露，ChatGPT就能教大家制造先進(jìn)芯片了。

在三星等多家企業(yè)出現(xiàn)事故后，很多企業(yè)都意識(shí)到了LLM使用可能造成的數(shù)據(jù)泄露問(wèn)題。就在5月份，蘋果公司也限制員工使用ChatGPT和其他外部AI工具。當(dāng)然，蘋果公司也在開發(fā)自己的LLM產(chǎn)品。

不只是蘋果公司，摩根大通、美國(guó)電信運(yùn)營(yíng)商Verizon等公司都已經(jīng)宣布禁止使用ChatGPT等應(yīng)用，亞馬遜也希望工程師們使用內(nèi)部AI工具。

就在11月10日，投資了OpenAI并為廣大企業(yè)提供OpenAI云服務(wù)的微軟，因?yàn)閾?dān)心公司機(jī)密數(shù)據(jù)泄露，竟然也開始禁止員工使用ChatGPT，建議員工使用自家的Bing Chat工具。

出于數(shù)據(jù)安全憂慮，美國(guó)銀行、花旗集團(tuán)、德意志銀行、高盛集團(tuán)等多家金融機(jī)構(gòu)已經(jīng)禁止員工使用ChatGPT聊天機(jī)器人處理工作任務(wù)，日本的軟銀、富士通、瑞穗金融集團(tuán)、三菱日聯(lián)銀行、三井住友銀行等企業(yè)，同樣限制了ChatGPT和類似聊天機(jī)器人的商業(yè)用途。

現(xiàn)在，這些企業(yè)有的與OpenAI合作進(jìn)行了私有化部署，有的已經(jīng)研發(fā)了自有大語(yǔ)言模型。

數(shù)據(jù)泄露對(duì)企業(yè)的危害

多家機(jī)構(gòu)如此重視，人為數(shù)據(jù)泄露到底能為企業(yè)造成多大傷害？

數(shù)據(jù)安全公司Cyberhaven曾在一個(gè)報(bào)告中，調(diào)查了不同行業(yè)客戶160萬(wàn)員工的ChatGPT使用情況。

報(bào)告數(shù)據(jù)顯示，自ChatGPT推出以來(lái)至3月21日，8.2%的員工曾在工作場(chǎng)所使用過(guò)ChatGPT, 6.5%的員工曾將公司數(shù)據(jù)粘貼其中；僅3月14日一天，每10萬(wàn)名員工就平均給ChatGPT發(fā)送了5267次企業(yè)數(shù)據(jù)。尤其是敏感數(shù)據(jù)，占到員工粘貼到ChatGPT的數(shù)據(jù)的11%。

這意味著，ChatGPT的使用率越高，敏感數(shù)據(jù)泄露的也就越多。

試想如果不加限制地使用LLM，隨著更多敏感數(shù)據(jù)被傳輸LLM服務(wù)器，并被用作模型訓(xùn)練數(shù)據(jù)集，也就意味著競(jìng)爭(zhēng)對(duì)手通過(guò)隨意的聊天對(duì)話就能獲悉了你的核心數(shù)據(jù)。如果競(jìng)對(duì)用這些數(shù)據(jù)建模對(duì)你進(jìn)行降維打擊，會(huì)對(duì)企業(yè)會(huì)造成多大損失？

數(shù)據(jù)泄露會(huì)造成嚴(yán)重的企業(yè)的信任度降低，讓業(yè)務(wù)連續(xù)性受到影響，并可能會(huì)帶來(lái)一定的法律責(zé)任。

看到這里，你就應(yīng)該明白為何大型企業(yè)都在構(gòu)建自有大語(yǔ)言模型了。

當(dāng)然，凡事皆有利弊。雖然對(duì)話式交互的生成式AI會(huì)造成敏感數(shù)據(jù)泄露，但AI和自動(dòng)化的使用，整體上正在降低數(shù)據(jù)泄露的成本。

IBM的《2023年數(shù)據(jù)泄露成本》全球調(diào)查數(shù)據(jù)顯示，廣泛使用人工智能（AI）和自動(dòng)化的組織受益，平均節(jié)省了近1萬(wàn)美元的數(shù)據(jù)泄露成本，并將數(shù)據(jù)泄露識(shí)別和遏制速度加快了8 天。

也就是說(shuō)，只要恰當(dāng)使用LLM，注意安全防控，它會(huì)對(duì)企業(yè)的增效降本起到明顯的作用。

LLM泄露數(shù)據(jù)的幾個(gè)原因

想要實(shí)現(xiàn)LLM的安全使用，需要分析數(shù)據(jù)泄露的相關(guān)因素。

從已經(jīng)發(fā)生的實(shí)踐案例來(lái)看，造成ChatGPT等LLM數(shù)據(jù)泄露的主要原因，大概有以下幾點(diǎn)：

1、用戶隱私泄露：在使用ChatGPT進(jìn)行客戶服務(wù)時(shí)，企業(yè)通常需要獲取用戶的個(gè)人信息，如姓名、地址、電話等。這些信息一旦被未經(jīng)授權(quán)的第三方獲取，便可能導(dǎo)致用戶隱私泄露。

2、內(nèi)部安全風(fēng)險(xiǎn)：ChatGPT作為一款人工智能語(yǔ)言模型，其生成和處理的敏感信息可能包括企業(yè)內(nèi)部的商業(yè)機(jī)密、計(jì)劃、策略等。如果這些信息被惡意利用，可能會(huì)對(duì)企業(yè)造成嚴(yán)重?fù)p失。

3、系統(tǒng)漏洞：盡管ChatGPT具有強(qiáng)大的技術(shù)實(shí)力，但其系統(tǒng)仍可能存在漏洞。如果黑客利用這些漏洞入侵企業(yè)服務(wù)器，便可能導(dǎo)致數(shù)據(jù)泄露。

理論上，只要我們針對(duì)性的解決這幾個(gè)問(wèn)題，LLM的安全使用也就不在話下。

現(xiàn)在，很多引入LLM的企業(yè)基本都建立了風(fēng)控機(jī)制，按照LLM使用流程的先后順序，這些機(jī)制包括加強(qiáng)安全培訓(xùn)、定期審查系統(tǒng)、加密處理敏感信息、使用可靠的人工智能服務(wù)提供商、建立應(yīng)急預(yù)案等。

在這些安全措施中，大家會(huì)發(fā)現(xiàn)“使用可靠的人工智能服務(wù)提供商”這一點(diǎn)最為重要，畢竟引入一個(gè)具備高度安全機(jī)制的LLM會(huì)事半功倍。其他幾點(diǎn)也能起到一定的作用，但多是為了防患于未然以及事后補(bǔ)救，并且其中的很多人為因素難以避免。

與此同時(shí)，隨著技術(shù)的不斷發(fā)展，LLM的應(yīng)用也進(jìn)入到了AI Agent階段。

AI Agent有效避免LLM數(shù)據(jù)泄露

AI Agent是由AI驅(qū)動(dòng)的程序，當(dāng)給定目標(biāo)時(shí)，能夠自己創(chuàng)建任務(wù)、完成任務(wù)、創(chuàng)建新任務(wù)、重新確定任務(wù)列表的優(yōu)先級(jí)、完成新的頂級(jí)任務(wù)，并循環(huán)直到達(dá)到目標(biāo)。

使用AI Agent，只需輸入一句話或者更簡(jiǎn)單的指令，就能通過(guò)理解與分析獲悉用戶的意圖，進(jìn)而規(guī)劃并執(zhí)行一系列任務(wù)，最終輸出詳盡而具體的答案。

AI Agent不僅讓輸入更加簡(jiǎn)單，也在一定程度上提高了安全系數(shù)，有效避免了數(shù)據(jù)泄露的可能，還能最大限度發(fā)揮LLM的能力。

AI Agent正在快速影響更多領(lǐng)域，超自動(dòng)化領(lǐng)域也是如此。目前廠商們都在積極引入或自研大模型，并基于這些大模型打造Agent，以從安全、易用性等各方面提升超自動(dòng)化的應(yīng)用效率。

當(dāng)然，超自動(dòng)化Agent在數(shù)據(jù)安全方面遠(yuǎn)不是減少提示詞輸入那么簡(jiǎn)單。

超自動(dòng)化Agent破解LLM安全謎題

超自動(dòng)化領(lǐng)域如何通過(guò)AI Agent提升安全系數(shù)呢？

這里王吉偉頻道以實(shí)在智能業(yè)界首發(fā)的實(shí)在RPA Agent智能體為例，介紹超自動(dòng)化Agents如何保障用戶數(shù)據(jù)安全。

實(shí)在RPA Agent智能體是基于實(shí)在智能自研垂直領(lǐng)域大模型TARS構(gòu)建的RPA超自動(dòng)化智能體，是一種能夠自主拆解任務(wù)、感知當(dāng)前環(huán)境、執(zhí)行并且反饋、記憶歷史經(jīng)驗(yàn)的RPA全新模式。

為了讓用戶更安全的使用AI智能體，實(shí)在RPA Agent智能體在TARS大語(yǔ)言模型和RPA工具包都設(shè)置的多重安全機(jī)制。

TARS大語(yǔ)言模型的安全機(jī)制側(cè)重于敏感數(shù)據(jù)、內(nèi)部政策和提示檢查。在預(yù)訓(xùn)練或SFT階段通過(guò)數(shù)據(jù)處理和文本分類算法刪除敏感數(shù)據(jù)，在大模型的輸出結(jié)果之上疊加一個(gè)輔助安全模型，RLHF（人類反饋強(qiáng)化學(xué)習(xí)）階段使用內(nèi)部策略，檢查用戶查詢并添加安全提示等。

這樣就能保證用戶輸入內(nèi)容的多層過(guò)濾，防止敏感數(shù)據(jù)的外露。

TARS大型語(yǔ)言模型上基于充分細(xì)致的語(yǔ)料收集和清洗、數(shù)據(jù)處理及標(biāo)注，超千億Tokens的預(yù)訓(xùn)練語(yǔ)料和超百萬(wàn)條指令微調(diào)數(shù)據(jù)，實(shí)在智能獨(dú)立完整復(fù)現(xiàn)大模型構(gòu)建的預(yù)訓(xùn)練、指令微調(diào)和RLHF三階段，使大模型具備完整能力。

同時(shí)實(shí)在智能自主研發(fā)用于中文不當(dāng)言論判別和生成終止的Detoxify系統(tǒng)，也提升了TARS的安全性和無(wú)害性，讓大模型“既懂事，又懂法”。

在RPA工具包上，TARS-RPA-Agent安全機(jī)制側(cè)重于機(jī)器人授權(quán)繼承和指揮官分配或分發(fā)授權(quán)：

首先，RPA機(jī)器人的授權(quán)均繼承自創(chuàng)建機(jī)器人的用戶，同時(shí)其權(quán)限范圍也和所在賬號(hào)的權(quán)限是一致的，不會(huì)獲取超出其權(quán)限范圍的信息；

其次，RPA指揮官可以分配和控制TARS-RPA-Agent的授權(quán)；

第三，在開發(fā)過(guò)程中，實(shí)在智能設(shè)計(jì)了一個(gè)易于處理敏感數(shù)據(jù)的模塊，使得敏感數(shù)據(jù)更易于通過(guò)配置、刪除、導(dǎo)入等方式進(jìn)行設(shè)置。

除了LLM和RPA，TARS-RPA-Agent還包含其他輔助模塊，其中的安全機(jī)制側(cè)重于內(nèi)部知識(shí)庫(kù)認(rèn)證、內(nèi)部文檔訪問(wèn)以及用戶確認(rèn)。

有了面向LLM、RPA和輔助模塊的多重安全機(jī)制，在十幾層防護(hù)墻的共同作用下，想要泄露隱私數(shù)據(jù)都很難，徹底杜絕了前文所講的人為泄露數(shù)據(jù)的情況。再加上應(yīng)對(duì)系統(tǒng)漏洞的相關(guān)安全機(jī)制，足以把LLM應(yīng)用安全打造得固若金湯。

當(dāng)然，這還是直接使用TARS大模型或者調(diào)用API的情況。如果你是現(xiàn)金流充沛的企業(yè)，采用本地部署大語(yǔ)言模型的方式，安全情況會(huì)更上一層樓。

需要說(shuō)明的是，這種整體安全解決方案非常適用于一些大型企業(yè)的LLM應(yīng)用安全過(guò)濾。

出于安全考慮，企業(yè)都希望在應(yīng)用LLM時(shí)過(guò)濾內(nèi)部敏感信息。

目前市面上的數(shù)據(jù)安全管理軟件，功能豐富但應(yīng)用復(fù)雜且價(jià)格不菲。為了LLM數(shù)據(jù)過(guò)濾這種單一應(yīng)用場(chǎng)景而斥巨資購(gòu)買全數(shù)據(jù)監(jiān)控軟件，顯然過(guò)于浪費(fèi)，并不是LLM數(shù)據(jù)過(guò)濾的最優(yōu)選。

事實(shí)上，這類需求更適合LLM技術(shù)供應(yīng)商基于大語(yǔ)言模型技術(shù)路徑去做。只需在其LLM產(chǎn)品體系中添加隱私數(shù)據(jù)過(guò)濾功能，為企業(yè)用戶開放不斷更新或增刪敏感數(shù)據(jù)庫(kù)內(nèi)容的權(quán)限。

這種模式，不僅能為本身大語(yǔ)言模型提供過(guò)濾安全功能，還能用于企業(yè)所使用的OpenAI、文心一言等第三方大語(yǔ)言模型，能夠在最大限度保護(hù)員工創(chuàng)造力的同時(shí)做好公司敏感數(shù)據(jù)的防護(hù)。

這樣，企業(yè)就能實(shí)現(xiàn)花一份錢去保障更多LLM的安全。

如果你的企業(yè)正在為L(zhǎng)LM的應(yīng)用安全及預(yù)算而發(fā)愁，不妨試試實(shí)在智能的這種安全解決方案，或許會(huì)讓你眼前一亮。

全文完

【王吉偉頻道，關(guān)注AIGC與IoT，專注數(shù)字化轉(zhuǎn)型、業(yè)務(wù)流程自動(dòng)化與RPA，歡迎關(guān)注與交流�！�

       原文標(biāo)題 : 數(shù)據(jù)泄露成LLM應(yīng)用最大障礙，看實(shí)在智能如何用AI Agent破解謎題