聯(lián)邦學(xué)習(xí)開(kāi)源社區(qū)FATE年末升級(jí):首度支持縱向聯(lián)邦神經(jīng)網(wǎng)絡(luò)算法
近兩年來(lái),聯(lián)邦學(xué)習(xí)發(fā)展迅速,其作為分布式的機(jī)器學(xué)習(xí)范式,能夠有效解決數(shù)據(jù)孤島問(wèn)題,讓參與方在不共享數(shù)據(jù)的基礎(chǔ)上聯(lián)合建模,從技術(shù)上打破數(shù)據(jù)孤島,實(shí)現(xiàn)AI協(xié)作。而FATE作為聯(lián)邦學(xué)習(xí)全球首個(gè)工業(yè)級(jí)開(kāi)源框架,支持聯(lián)邦學(xué)習(xí)架構(gòu)體系,為機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、遷移學(xué)習(xí)提供了高性能聯(lián)邦學(xué)習(xí)機(jī)制。此外,其自身還支持多種多方安全計(jì)算協(xié)議,如同態(tài)加密、秘密共享、哈希散列等,具有友好的跨域交互信息管理方案。
近日,F(xiàn)ATE 1.2版本正式發(fā)布。在這一版本中,F(xiàn)ATE推出了兩大重量級(jí)的更新項(xiàng)——對(duì)縱向聯(lián)邦DNN的支持,及對(duì)多方安全計(jì)算SPDZ協(xié)議的支持。作為首個(gè)支持縱向聯(lián)邦神經(jīng)網(wǎng)絡(luò)算法的版本,開(kāi)發(fā)者在縱向聯(lián)邦建模的分類、回歸、排序等場(chǎng)景下都可以明顯感受到其支持性。而SPDZ秘密共享安全計(jì)算協(xié)議的支持,進(jìn)一步拓展和豐富FATE應(yīng)用場(chǎng)景。
在之前的1.0大版本中,F(xiàn)ATE上線了首個(gè)可視化聯(lián)邦學(xué)習(xí)產(chǎn)品與聯(lián)邦pipeline生產(chǎn)服務(wù)。而在1.1大版本中,F(xiàn)ATE聯(lián)合VMware中國(guó)研發(fā)開(kāi)放創(chuàng)新中心云原生實(shí)驗(yàn)室的團(tuán)隊(duì)一起搞了個(gè)“大事”——發(fā)布了KubeFATE項(xiàng)目,通過(guò)把FATE的所有組件用容器的形式封裝,實(shí)現(xiàn)了使用Docker Compose或Kubernetes(Helm Charts)來(lái)部署。前兩個(gè)版本分別在可視化使用體驗(yàn)及部署體驗(yàn)上做了重點(diǎn)提升,而FATE v1.2 版本則回歸至算法本身,進(jìn)一步拓展其支持性。除兩大重量級(jí)更新項(xiàng)以外,還新增了如二階優(yōu)化方法-縱向SQN、數(shù)據(jù)管理模塊等功能,前者能夠顯著提升縱向邏輯回歸和縱向線性回歸收斂效率,對(duì)算法加速起到關(guān)鍵作用。后者則用于記錄upload的數(shù)據(jù)表及Job運(yùn)行中模型的輸出結(jié)果,并提供查詢以及清理CLI。
FederatedML: 開(kāi)啟縱向聯(lián)邦深度學(xué)習(xí)和多種多方安全計(jì)算協(xié)議支持之旅
在FATE 1.2版本中,首次對(duì)外發(fā)布了縱向聯(lián)邦深度學(xué)習(xí)框架,開(kāi)啟了FATE對(duì)深度學(xué)習(xí)聯(lián)邦化的支持,開(kāi)發(fā)者可以自定義深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。目前版本已支持Tensorflow, 后續(xù)會(huì)推出Pytorch版本,便于開(kāi)發(fā)者低代價(jià)遷移Tensorflow和Pytorch的使用習(xí)慣和經(jīng)驗(yàn)。
在這一版本中,F(xiàn)ATE實(shí)現(xiàn)了SPDZ秘密共享多方安全計(jì)算協(xié)議的支持,這意味在現(xiàn)有同態(tài)加密協(xié)議的基礎(chǔ)上,F(xiàn)ATE能為開(kāi)發(fā)者提供更多樣化的多方安全計(jì)算協(xié)議支持。開(kāi)發(fā)者們可根據(jù)自身算法的特點(diǎn),自由選擇適合自身算法的多方安全計(jì)算協(xié)議,聯(lián)邦學(xué)習(xí)的可應(yīng)用范圍得到進(jìn)一步拓展。值得說(shuō)明的是,在縱向皮爾遜特征相關(guān)性計(jì)算算法實(shí)現(xiàn)中,首次使用了SPDZ協(xié)議。
此外,算法性能優(yōu)化方面, 新版本也首次引入二階優(yōu)化算法,提出了縱向SQN算法,并成功應(yīng)用在縱向廣義線性模型中,對(duì)算法性能有顯著提升。特征分箱和特征選擇新增對(duì)多方host聯(lián)邦建模的支持,開(kāi)始全方位的支持多host場(chǎng)景。
FATE-Board:兩大可視化支持,實(shí)用性再提升
自1.0版本推出FATE-Board以來(lái),這一產(chǎn)品受到了開(kāi)發(fā)者廣泛好評(píng)。而在1.2版本中,F(xiàn)ATE也對(duì)FATE-Board再次進(jìn)行了提升,新增了對(duì)聯(lián)邦模式下特征相關(guān)性,以及LocalBaseline組件的可視化支持。前者能夠直觀地分析特征之間的相關(guān)性分布情況,從而幫助開(kāi)發(fā)者快速進(jìn)行判斷與特征選擇。而后者則可以讓開(kāi)發(fā)者將基于聯(lián)邦訓(xùn)練的模型與基于sklearn訓(xùn)練的模型結(jié)果進(jìn)行直接對(duì)比,并從可視化報(bào)告對(duì)比中得出相關(guān)結(jié)論。
此外,這一版本的FATE-Board在用戶體驗(yàn)方面也有了重大的提升,如工作流、模型輸出圖表圖形、評(píng)估曲線等,都高度優(yōu)化了可視化效果及交互操作,并增強(qiáng)了實(shí)用性。在使用中相信能讓開(kāi)發(fā)者體驗(yàn)再上一層樓。
FATE-Flow:FATE數(shù)據(jù)管理模塊,開(kāi)啟數(shù)據(jù)治理之路
在FATE 1.2版本中,F(xiàn)ATE新增加了數(shù)據(jù)管理模塊,這將成為開(kāi)啟數(shù)據(jù)治理的第一步。從這一版本開(kāi)始,在整個(gè)Job生命周期產(chǎn)生的數(shù)據(jù)都有跡可循了。此外,數(shù)據(jù)管理模塊提供了諸如查詢、刪除等常用管理命令,這也極大地增強(qiáng)了開(kāi)發(fā)者對(duì)數(shù)據(jù)的掌控能力。
總的來(lái)說(shuō),F(xiàn)ATE在1.2這一版本中,開(kāi)啟了對(duì)新領(lǐng)域的進(jìn)一步拓展。無(wú)論是對(duì)縱向聯(lián)邦深度學(xué)習(xí)框架,還是多方安全計(jì)算SPDZ協(xié)議的支持,都是在打磨底層框架,為未來(lái)FATE能支持更多應(yīng)用場(chǎng)景提供一種可能。從這一版本也可以看出,除新功能外,F(xiàn)ATE對(duì)已有建模組件也在持續(xù)不斷地優(yōu)化和改進(jìn),致力于在效率,多樣性和實(shí)用性上,為開(kāi)發(fā)者提供更加優(yōu)質(zhì)的服務(wù)體驗(yàn)。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
推薦專題
- 1 Intel宣布40年來(lái)最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國(guó)產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 7 國(guó)產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 8 英偉達(dá)的麻煩在后頭?
- 9 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 10 智慧貨架管理引領(lǐng)零售新風(fēng)尚
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市