多方如何實(shí)現(xiàn)“共同富�！保�聯(lián)邦學(xué)習(xí)的收益分配

聯(lián)邦學(xué)習(xí)助力物聯(lián)網(wǎng)發(fā)展，那么，多個(gè)數(shù)據(jù)方是如何打破“數(shù)據(jù)孤島”，實(shí)現(xiàn) “共同富裕呢？聯(lián)邦學(xué)習(xí)的收益分配是怎樣的呢？

于涵教授表示。“在聯(lián)邦學(xué)習(xí)機(jī)制下，參與各方的身份和地位相同，各參與方把加密后的數(shù)據(jù)貢獻(xiàn)給聯(lián)邦，然后數(shù)據(jù)聯(lián)盟訓(xùn)練一個(gè)聯(lián)邦模型，這個(gè)模型再開放給各數(shù)據(jù)使用方，達(dá)到數(shù)據(jù)的有效整合及使用，能夠?qū)崿F(xiàn)打通“數(shù)據(jù)孤島。”

然而，在帶來(lái)效益的同時(shí)，聯(lián)邦學(xué)習(xí)也可能給企業(yè)帶來(lái)額外成本。具體來(lái)說(shuō)，參與者加入聯(lián)邦需要對(duì)聯(lián)邦做出貢獻(xiàn)，把加密后的數(shù)據(jù)貢獻(xiàn)給聯(lián)邦，會(huì)產(chǎn)生數(shù)據(jù)成本和資金成本，且不同質(zhì)量的數(shù)據(jù)方加入聯(lián)邦、不同給時(shí)間節(jié)點(diǎn)加入聯(lián)盟的成本和效益可能不完全相同。

“一個(gè)數(shù)據(jù)聯(lián)盟的可持續(xù)發(fā)展取決于其能否持續(xù)吸引高質(zhì)量的個(gè)人機(jī)構(gòu)數(shù)據(jù)持有人的參與”于涵教授強(qiáng)調(diào)。

如何吸引高質(zhì)量的個(gè)人機(jī)構(gòu)數(shù)據(jù)參與進(jìn)來(lái)？在解答這個(gè)問(wèn)題之前，了解收益分配博弈是很有必要的。三類利潤(rùn)分配博弈中的分配方案包括平均主義、邊際收益和邊際損失。假設(shè)按照平均主義，數(shù)據(jù)聯(lián)盟產(chǎn)生的收益在參與者中平均分配，邊際收益則按照某個(gè)參與者加入聯(lián)盟時(shí)帶來(lái)的邊際收益確定他所應(yīng)得的收益，邊際損失則按照某個(gè)參與者退出聯(lián)盟帶來(lái)的邊際損失確定他所應(yīng)得的收益；從系統(tǒng)角度考慮，總體目標(biāo)是最大化集體效用。

這些分配方案都有各自的優(yōu)劣，如何尋找一種適合聯(lián)邦學(xué)習(xí)的分配方案？答案是聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制。數(shù)據(jù)聯(lián)盟參與者模型中核心問(wèn)題是如何公平地對(duì)待參與者，通過(guò)綜合考量數(shù)據(jù)方對(duì)聯(lián)盟的貢獻(xiàn)以及參與聯(lián)盟的代價(jià)，評(píng)估收益分配能否補(bǔ)齊成本，即評(píng)估公平度目標(biāo)。

因此，聯(lián)邦學(xué)習(xí)的解決方案是基于排隊(duì)系統(tǒng)為公平度目標(biāo)建模，通過(guò)保證排隊(duì)系統(tǒng)穩(wěn)定，保證參與者等候全額補(bǔ)償?shù)臅r(shí)間有限。另外，模型的公平性維度有三個(gè)，一是一個(gè)參與者所貢獻(xiàn)的數(shù)據(jù)為聯(lián)邦模型帶來(lái)的邊際效益越高，他所應(yīng)得得補(bǔ)償也越高；二是“遺憾”度及等待時(shí)長(zhǎng)應(yīng)在所有參與者間盡量均勻分布；公平性緯度三即在不同時(shí)間點(diǎn)之間，“遺憾”度及等待時(shí)長(zhǎng)的變化盡量不要太劇烈最后在優(yōu)化目標(biāo)函數(shù)。通過(guò)優(yōu)化目標(biāo)函數(shù)，實(shí)現(xiàn)最大化公平度。

基于此，聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制的利益分配方案是最大化數(shù)據(jù)聯(lián)盟的整體效用，同時(shí)最小化參與者之間在“遺憾”和等待時(shí)長(zhǎng)兩個(gè)維度的不均衡。

聯(lián)邦學(xué)習(xí)，機(jī)遇與挑戰(zhàn)并存

聯(lián)邦學(xué)習(xí)解決了在保證數(shù)據(jù)安全的前提下解決了“數(shù)據(jù)孤島”問(wèn)題，同時(shí)聯(lián)邦學(xué)習(xí)通過(guò)聯(lián)邦激勵(lì)機(jī)制實(shí)現(xiàn)參與方的收益分配盡可能公平。在未來(lái)，聯(lián)邦學(xué)習(xí)還將帶給我們更多驚喜，尤其在生態(tài)建設(shè)方面，主要包括開源、技術(shù)標(biāo)準(zhǔn)和商業(yè)賦能等領(lǐng)域。

在開源方面，微眾銀行基于“聯(lián)邦學(xué)習(xí)”開發(fā)了聯(lián)盟AI系統(tǒng)并開源聯(lián)盟AI解決方案FATE（Federated AI Technology Enabler）。作為聯(lián)邦學(xué)習(xí)領(lǐng)域第一個(gè)商用級(jí)開源項(xiàng)目，F(xiàn)ATE為開發(fā)者提供所必須的多方協(xié)同建模工作流管理、加密機(jī)器學(xué)習(xí)工具庫(kù)和并行計(jì)算基礎(chǔ)設(shè)施抽象三層能力，同時(shí)提供了很多開箱即用的聯(lián)邦學(xué)習(xí)算法和聯(lián)邦遷移學(xué)習(xí)算法供開發(fā)者參考，極大簡(jiǎn)化了聯(lián)盟AI開發(fā)的流程并降低了部署難度。這項(xiàng)開源技術(shù)的產(chǎn)生極大降低了企業(yè)加入聯(lián)盟AI生態(tài)，拓展合作協(xié)同式AI技術(shù)的門檻，為企業(yè)技術(shù)合作，協(xié)同建模，共建生態(tài)奠定了技術(shù)基礎(chǔ)。

在技術(shù)標(biāo)準(zhǔn)方面，2018年12月4日，電氣和電子工程師協(xié)會(huì)標(biāo)準(zhǔn)委員會(huì)（IEEE Standard Association）批準(zhǔn)由微眾銀行發(fā)起的關(guān)于聯(lián)邦學(xué)習(xí)架構(gòu)和應(yīng)用規(guī)范的標(biāo)準(zhǔn)P3652．1（Guide for Architectural Framework and Application of Federated Machine Learning）立項(xiàng)。此次會(huì)議上，微眾銀行宣布面向社會(huì)征稿，接收的優(yōu)秀論文將受邀在IEEE Intelligent System 特刊發(fā)表。

除源、技術(shù)標(biāo)準(zhǔn)外，商業(yè)賦能更是另一重要方面，尤其是智慧城市。城市計(jì)算事業(yè)部AI平臺(tái)部負(fù)責(zé)人張鈞波向大家介紹了城市計(jì)算與跨越學(xué)習(xí)聯(lián)合建模，城市計(jì)算（Urban Computing）通過(guò)城市數(shù)據(jù)的采集、管理、分析挖掘和服務(wù)提供，解決交通、規(guī)劃、環(huán)境等問(wèn)題。但由于數(shù)據(jù)異構(gòu)、多源性及時(shí)空動(dòng)態(tài)分布，城市計(jì)算面臨一個(gè)重大挑戰(zhàn)即城市感知的數(shù)據(jù)缺失，京東通過(guò)跨域?qū)W習(xí)聯(lián)合建模，建立聯(lián)邦學(xué)習(xí)＋隨機(jī)森林的聯(lián)邦隨機(jī)森林，打通數(shù)據(jù)壁壘，解決數(shù)據(jù)孤島問(wèn)題。

聯(lián)邦學(xué)習(xí)帶給我們更多驚喜的同時(shí)，也面臨諸多挑戰(zhàn)，如何避免模型攻擊和數(shù)據(jù)攻擊，如何讓聯(lián)邦學(xué)習(xí)在安全合規(guī)前提下提高算法效率，這需要學(xué)界與業(yè)界更多參與者共同探索！