聯邦學習新時代即將到來?同盾科技FLEX協議開源!
(原標題:聯邦學習新時代即將到來?同盾科技FLEX協議開源!)
你還記得大名鼎鼎的超文本傳輸協議(HTTP)協議嗎?作爲互聯網應用最爲廣泛的一種網絡傳輸協議之一,它的出現奠定了整個互聯網時代數據通信的基礎。
現在,聯邦學習領域的“HTTP協議”也誕生了!由同盾科技人工智能研究院自主研發的標準化聯邦交互協議:FLEX(Federated Learning EXchange)近日在全球最大的開源社區平臺GitHub上開源,也在人工智能頂會NeurIPS的聯邦學習研討會SpicyFL 2020上首次公佈。聯邦學習的發展即將拉開新的篇章。
“看聯邦學習了麼?最近又有什麼新的技術進展!”這大概是人工智能從業者常掛在嘴邊的一句話。
作爲時下最火的數據安全類技術之一,聯邦學習已經走入了銀行、證券、保險、醫療、政務、城市管理等各類應用場景。
這有着深刻的時代背景。
社會進入互聯網時代至今,企業生產、管理,運營過程的數字化已經在許多行業逐步實現,數據的積累和數據價值的挖掘成爲目前關注的重點。除了應用自身積累的數據資源外,使用其他企業機構、其他行業有價值的數據自然成爲破解難題的方法之一。與之對應的,如何在使用過程中保障數據的安全,保障個人隱私不被泄露,禁止未授權數據被不當地傳播、存儲和使用成爲了難題。
聯邦學習被視爲化解這個難題的絕佳技術。聯邦學習(Federated Learning)的本質是一種分佈式機器學習技術,可以在不交換數據樣本的情況下,在多個分散的邊緣設備或服務器上訓練算法。以達到在數據“可用不可見”的基礎上進行安全聯合建模的作用。
2017年穀歌AI在《聯合學習:協作機器學習沒有集中訓練數據》的博客文章中首次引入“聯邦學習”的概念。2019年,谷歌實現了首個產品級的聯邦學習系統,主要側重針對C端,在移動手機上運行的聯邦平均算法和分析。
在國內,以同盾科技知識聯邦體系爲代表的科技力量,針對B端對於聯邦學習技術的研究和應用也在如火如荼地展開,提升到高級別的聯邦學習,致力於最終打造可信AI 3.0,幫助中國率先實現下一代人工智能的突破。隨着越來越多的機構投身到聯邦學習領域,除帶來技術的躍遷之外,各聯邦之間也出現了一種山頭林立、體系割裂的趨勢,聯邦學習技術的初衷就是爲打破數據孤島而生,而如今卻可能帶來了新的“孤島”現象,那麼有沒有一種方法能打通這麼多不同的聯邦學習技術架構和應用體系,讓聯邦能在更廣的疆域和空間尺度展開呢?
同盾科技近期開源的FLEX協議爲這個宏大的設想提供了方案。
FLEX 何以定義新時代的到來?
“目前市場上各家開發的聯邦學習產品五花八門,在實際應用上各不兼容,這就形成了產品上新的數據孤島和系統孤島。”同盾科技合夥人、人工智能研究院院長李曉林教授談起開源FLEX的初衷時表示,他也在NeurIPS-SpicyFL 2020研討會的圓桌論壇上宣佈FLEX開源,不但打破數據孤島,而且打破系統孤島。我們希望未來聯邦學習技術能夠真正成爲數據價值互聯互通的橋樑和紐帶,這就需要有一套標準化的聯邦協議去定義技術交互流程,我們的FLEX協議做到的就是這樣的事情。
FLEX(Federated Learning EXchange,FLEX)是同盾科技人工智能研究院爲知識聯邦體系打造的一套標準化的聯邦協議。它約定了聯邦過程中參與方之間的數據交換順序,以及在交換前後採用的數據加解密方法。只要參與各方能夠遵守這些約定,就可以安全地加入到聯邦中提供數據或使用聯邦服務。
FLEX協議主要包括兩層內容:
應用協議:這一層協議是面向聯邦算法的,爲聯邦算法提供多方數據交換的應用支撐。協議中會約定多方間數據交換的順序和採用的具體密碼算法。聯邦過程中採用的通信協議也會被封裝在這裡。
公共組件:是上層應用協議所依賴的基礎密碼算法和安全協議,比如同態加密、秘密分享等。
在整個FLEX協議中,對於基礎架構、通信和安全三方面進行了詳細的闡述和約定,適用於跨特徵、跨樣本和遷移聯邦學習三種場景下的多種不同算法,清晰的對聯邦學習技術過程中聯邦共享、聯邦預處理、聯邦計算、聯邦訓練、聯邦預測、公共組件和聯邦安全性等流程進行了闡釋和約定,是當前首個開源並定義完整的標準化聯邦協議。
同盾科技FLEX協議的開發與開源爲聯邦學習技術的發展應用奠定了更好的基礎。通過FLEX協議,各類高校、研究機構、企業和個人可以對聯邦學習技術的開發實現與安全性檢測進行更進一步的研究與驗證,促進不同行業更快落地聯邦應用。
比如在智慧金融領域,FLEX定義的聯邦技術可以應用在反欺詐、反洗錢、智能風控、用戶畫像挖掘、智能交叉營銷等場景,幫助金融機構打通內部各部門的數據價值,並利用更多不同外部數據源的價值。在智慧政務領域,政府部門不同委辦局的數據將能夠在統一的聯邦平臺上打通,爲政府管理和百姓生活提供更好的支持保障。在智慧醫療領域,不同醫院的就診數據、病史信息能夠利用聯邦模式共享,爲醫學研究發展和百姓的就醫提供便利。
目前,同盾科技的FLEX協議已經在GitHub上進行了開源,後續也將逐步進行完善和更新。李曉林教授對於FLEX協議充滿了期待:“我們非常歡迎和希望業界研究使用FLEX協議,也希望更多對聯邦學習技術感興趣的人能夠加入到技術的探討和優化中來,這正是我們開源協議的意義。”
近年來,同盾科技人工智能研究院在聯邦學習領域不斷取得重要突破,已經成爲行業內一支重要的領軍力量,FLEX協議的誕生不僅是研究院自身發展的一件歷史性時刻,相信它也將爲國內聯邦學習的發展做出重要貢獻。