模型攻擊：魯棒性聯邦學習研究的最新進展

隨著聯邦學習的推廣應用，越來越多的研究人員聚焦於解決聯邦學習框架中的模型攻擊問題。我們從近兩年公開的研究成果中選取了四篇文章進行詳細分析，重點關注模型攻擊類的魯棒聯邦學習（Robust Federated Learning）。

機器之心分析師網路，作者：仵冀穎，編輯：H4O。

現代機器學習演算法在實際應用場景中可能會受到各種對抗性攻擊，包括資料和模型更新過程中中毒（ Data and Model Update Poisoning）、模型規避（Model Evasion）、模型竊取（Model Stealing）和對使用者的私人訓練資料的資料推理性攻擊（Data Inference Attacks）等等。在聯邦學習的應用場景中，訓練資料集被分散在多個客戶端裝置（如桌面、手機、IoT 裝置）之間，這些裝置可能屬於不同的使用者 / 組織。這些使用者 / 組織雖然不想分享他們的本地訓練資料集，但希望共同學習得到一個全域性最優的機器學習模型。由於聯邦學習框架的這種分散式性質，在使用安全聚合協議（Secure Aggregation）的情況下，針對機器學習演算法的故障和攻擊的檢測糾正更加困難。

在聯邦學習應用中根據攻擊目標的不同，可以將對抗性攻擊大致分為兩類，即非定向攻擊（Untargeted Attacks）和定向攻擊（Targeted Attacks）。非定向攻擊的目標是破壞模型，使其無法在主要任務中達到最佳效能。在定向攻擊（通常被稱為後門攻擊（Backdoor Attacks））中，對手的目標是令模型在主要任務中保持良好的整體效能的同時在某些特定的子任務中表現出較差的效能。例如，在影象分類中，攻擊者可能希望模型將某些 「綠色汽車」 誤分類為鳥類，同時確保其能夠正確分類其它汽車。由於非定向攻擊會降低主要任務的整體效能，因此更容易被發現。由於對手的目標往往是事先不知道的，後門定向攻擊則較難檢測。

對於非定向攻擊和定向攻擊，可以根據攻擊者的能力進一步將攻擊分為兩種型別：模型攻擊（Model Attack）或資料攻擊（Data Attack）。資料攻擊是指攻擊者可以改變所有訓練樣本中的一個子集，而這個子集對模型的學習者來說是未知的。模型攻擊是指被攻擊的客戶端改變本地模型的更新，從而改變全域性模型。特別的，當聯邦學習框架中引入了安全聚合協議 （Secure Aggregation，SecAgg） 確保伺服器無法檢查每個使用者的更新時，在本地更新的聚合中部署了安全聚合（SecAgg），模型攻擊就更難對付了。關於安全聚合協議的解釋，感興趣的讀者可閱讀文獻［1］。

在這篇文章中，我們重點聚焦模型攻擊。在聯邦學習應用框架中，惡意參與者（攻擊者）直接破壞全域性模型，因此比資料攻擊的破壞性更大。在下文詳細分析的文獻《How To Backdoor Federated Learning》中提到：聯邦學習中的任何參與者都可以用另一個模型替換全域性模型，這導致 （i）新模型在聯邦學習任務上是同樣準確的，但是 （ii） 攻擊者卻能夠控制模型在攻擊者所選擇的後門子任務上的表現。圖 1 中給出了一種模型攻擊的過程，攻擊者控制聯邦學習框架中的一個或多個參與者 / 客戶端在後門資料上訓練一個模型，將訓練得到的結果模型提交給中央伺服器，平均後的聯合模型作為聯邦學習的最終全域性模型。

圖 1：模型攻擊概覽《How To Backdoor Federated Learning》

隨著聯邦學習的推廣應用，越來越多的研究人員聚焦於解決聯邦學習框架中的模型攻擊問題。我們從近兩年公開的研究成果中選取了四篇文章進行詳細分析，重點關注模型攻擊類的魯棒聯邦學習（Robust Federated Learning）。

1. How To Backdoor Federated Learning

論文地址：

https：//

arxiv。org/abs/1807。0045

9

本文是 Cornell Tech 研究團隊貢獻的一篇文章，首次公開於 2018 年，最新收錄於 AISTATS‘20。這篇文章也是幫助理解聯邦學習模型在遭受惡意使用者攻擊前後所出現的變化情況的一篇重要文章。本文研究重點是：如何對聯邦學習框架進行後門攻擊？即，重點描述如何能夠有效攻擊的方法，而不是解決攻擊的方法。本文的研究屬於定向攻擊（Targeted Attacks）和模型攻擊（Model Attack）類別。

1.1 聯邦學習介紹

聯邦學習透過將區域性模型迭代聚合成一個聯合全域性模型，將深度神經網路的訓練分佈在 n 個參與者之間。在每一輪 t 迭代過程中，中央伺服器隨機選擇 m 個參與者的子集 Sm，並向他們傳送當前的聯合模型 G^t。選中的參加者基於儲存於本地客戶端的私人資料訓練得到新的本地模型 L^（t+1）。區域性更新演算法如下：

之後，客戶端將差值 L^（t+1）-G^t 傳送給中央伺服器，中央伺服器根據收到的資訊更新計算全域性聯合模型：

全域性學習率η控制每輪更新的聯合模型的比例。

1.2 聯邦學習的攻擊概述

在聯邦學習架構中，各個客戶端基於本地資料單獨訓練區域性模型，這就給攻擊者提供了一個脆弱的攻擊面，區域性的訓練過程很有可能遭到攻擊、破壞。特別是在數千個客戶端的情況下，準確找出攻擊者幾乎是不可能的。此外，現有的聯邦學習框架無法判斷區域性學習模型的正確性，客戶端可以隨意提交惡意模型，例如包含後門功能的模型。人們很難區分被後門攻擊的模型和基於區域性資料訓練得到的真實模型。

1。2。1 攻擊模型

攻擊者。攻擊模型中的攻擊者不控制用於將參與者的更新組合到聯合模型中的聚合演算法，也不控制合法參與者訓練的任何方面。本文假設攻擊者透過將聯合學習規定的訓練演算法正確地應用到他們的本地資料中來建立他們的本地模型。這種設定與傳統的資料攻擊的主要區別在於，資料攻擊假定攻擊者控制了相當一部分訓練資料。相比之下，在模型攻擊的聯邦學習中，攻擊者控制了整個訓練過程，但只控制了一個或幾個參與者。

攻擊目標。攻擊者希望透過聯邦學習得到一個聯合模型，該模型在其主任務和攻擊者選擇的後門子任務上都能實現高準確度，並且在攻擊後的多輪攻擊後，在後門子任務上保持高準確度。相比之下，傳統的資料攻擊旨在改變模型在大面積輸入空間上的效能，而拜占庭攻擊則旨在阻止全域性（聯合）模型收斂。一個安全漏洞即使不能每次都被利用，而且在被利用後一段時間內打上補丁，也是危險的。同樣的道理，模型攻擊有時會引入後門（即使有時會失敗），只要模型至少在單輪中表現出高的後門準確率，那麼模型攻擊就是成功的。而在實際操作中，攻擊的表現要好得多，後門一般都能夠停留多輪。

語義後門（Semantic backdoors）。本文重點關注了語義後門。攻擊者可自由選擇 要麼是物理場景中自然產生的特徵（例如，某種汽車的顏色），要麼是沒有攻擊者的情況下不可能出現的特徵（例如，只有攻擊者才有的特殊帽子或眼鏡）。因此，攻擊者可以選擇後門是否由特定的、沒有攻擊者參與的場景下觸發，或僅透過攻擊者物理上修改的場景來出發。這兩種型別的語義後門都能夠造成模型基於未經修改的數字輸入產生攻擊者選擇的輸出。另一類後門攻擊問題稱為畫素模式（pixel-pattern）。畫素模式後門要求攻擊者在測試時以特殊方式修改數字影象的畫素，以便模型對修改後的影象進行錯誤分類。在一些應用場景下，這些後門攻擊導致的問題比針對全域性模型直接對抗式破壞的方式更加嚴重。

後門與對抗樣本。對抗性轉換利用模型對不同類的表示方式之間的界限，來產生被模型錯誤分類的輸入。相比之下，後門攻擊則故意改變這些邊界，使某些輸入被錯誤分類。畫素模式後門攻擊嚴格來說比對抗性轉換要弱：攻擊者必須在訓練時對模型攻擊，而在測試時修改輸入。如果規模化部署聯邦學習模型，語義後門可能比對抗性轉換更危險。

1。2。2 構造攻擊模型

基線攻擊。攻擊者只在後門輸入上訓練其模型。解決這一問題的最簡單的辦法就是在每個訓練批次中儘量包括正確標記的輸入和後門輸入的混合，以幫助模型學習識別二者的差異。這種簡單的基線攻擊在實際應用中效果很差，中央伺服器的聚合操作抵消了後門模型的大部分貢獻，這造成全域性模型很快就忘記了後門攻擊的存在。必須要在模型的更新過程中不斷地重新選擇攻擊者，即便如此，最終的攻擊效果仍然不理想。

模型替換攻擊。首先，作者對本文描述的攻擊進行數學分析，攻擊者試圖用惡意的全域性模型 X 代替新的全域性模型 G^（t+1）：

考慮到本地客戶端中資料與全域性資料的非獨立同分布問題（Non-IID），每個本地模型可能遠離目前的全域性模型。當全域性模型收斂時，這些偏差開始抵消。因此，攻擊者按照下式處理擬提交的模型：

這種攻擊將後門模型 X 的權重縮放為γ=n/η，以確保後門在平均化中能夠存活，最終導致全域性模型被 X 取代。一個不知道 n 和η的攻擊者，可以透過每輪迭代增加並測量模型在後門任務上的準確度，來近似縮放係數γ。在一些聯邦學習框架中，參與者會對模型權重應用隨機掩碼。攻擊者既可以跳過這一步，直接傳送整個模型，也可以應用一個掩碼，只刪除接近於零的權重。上述模型替換操作確保了攻擊者的貢獻能夠存活下來，並被轉移到全域性模型中。這是一種單次性（single-shot attack）的攻擊：全域性模型在後門任務上表現出了高準確度，而後門任務被殺死後，全域性模型立即表現出高準確度。

1。2。3 改善永續性並規避異常檢測

由於攻擊者可能只被選擇進行單輪訓練，因此攻擊者希望的是後門在替換模型後儘可能多地保留在模型中——防止後門被全域性模型遺忘。本文提出的攻擊實際上是一種雙任務學習，即全域性模型在正常訓練時學習主任務，而後門任務只在攻擊者被選中的回合中學習主任務。該雙任務學習的目標是在攻擊者的回合後仍然保持這兩個任務學習的高準確率。

在最新提出的聯邦學習框架中建議使用安全聚合協議。該協議可以阻止中央伺服器中的聚合器檢查參與者提交的模型。有了安全聚合，就無法檢測到聚合中是否包含了惡意模型，也無法檢測到誰提交了這個模型。如果沒有安全聚合，聚合參與者模型的中央伺服器可能會試圖過濾掉 「異常」 貢獻。由於攻擊者建立的模型權重被顯著地放大，這樣的模型很容易被檢測和過濾掉。然而，聯邦學習的主要動機是利用參與者的多樣性，即使用分佈在各個客戶端中的非獨立同分布（Non-IID）的訓練資料，包括不正常或低質量的本地資料，如智慧手機照片或簡訊歷史記錄等。因此，中央伺服器的聚合器應該接受，即便是準確度較低或者與當前全域性模型有明顯偏離的區域性模型。

本文作者給出了名為「限制—縮放」（「constrain-and-scale」）的通用方法，使攻擊者能夠產生一個在主任務和後門任務上都有很高的準確度、但又不被中央伺服器異常檢測器拒絕的模型。論文透過使用一個目標函式將規避異常檢測的行為納入訓練中，該目標函式：（1）對模型的準確性進行獎勵，（2）對偏離中央伺服器的聚合器認為 「正常」 的模型進行懲罰。完整演算法如下：

透過新增異常檢測項 L_ano 來修改目標（損失）函式：

攻擊者的訓練資料同時包括正常輸入和後門輸入，因此 L_class 能夠同時兼顧主要任務和後門任務的準確性。L_ano 可以是任何型別的異常檢測，例如權重矩陣之間的 p 範數距離或更高階的權重可塑性懲罰。超引數α控制迴避異常檢測的重要程度。

訓練並縮放處理（training-and-scale）：對於只考慮模型權重大小的異常檢測器（例如，歐氏距離），可以用較簡單的技術來規避。攻擊者訓練後門模型直至收斂，然後將模型的權重進行縮放，使之達到異常檢測器所允許的邊界 S。縮放比例為：

對付簡單的基於權重的異常檢測器，訓練並縮放（training-and-scale）的效果比約束並縮放（constrained-and-scale）更好，因為無約束訓練增加了對後門精度影響最大的權重，從而使訓練後的縮放變得不那麼重要。對付更復雜的防禦措施，約束和比例訓練會帶來更高的後門準確度。

1.3 實驗分析

作者使用影象分類和單詞預測任務驗證後門攻擊的效果。實驗中，將經典的資料中毒（直接針對資料攻擊）的方法作為基線對比方法。在影象分類任務中，作者使用的是 CIFAR-10 資料庫，並訓練了一個具有 100 名參與者的全域性模型，其中每輪隨機選擇 10 名參與者，使用具有 270 萬個引數的輕量級 ResNet18 CNN 模型。為了模擬 Non-IID 訓練資料併為每個參與者提供不平衡樣本，使用 Dirichlet 分佈和超引數 0。9 劃分了 50，000 個訓練影象。輪訓中選擇的每個參與者進行 2 個區域性時期的學習，學習速率為 0。1。實驗中選擇了三個功能作為後門：綠色汽車（CIFAR 資料集中的 30 個影象），具有賽車條紋的汽車（21 個影象）和背景中具有垂直條紋的牆壁的汽車（12 個影象），如圖 2（a）。在訓練攻擊者的模型時，在每個訓練批次中將後門影象與正常影象混合（每批大小為 64 的情況下 c=20 個後門影象）。

圖 2：語義後門示例。（a）：影象的語義後門（具有某些屬性的汽車被歸類為鳥類）；（b）：單詞預測後門（觸發語句以攻擊者選擇的目標單詞結尾）

字詞預測是非常適合聯邦學習的任務，因為訓練資料（例如，使用者在手機上鍵入的內容）無法進行集中式收集。它也是 NLP 任務（例如問題解答，翻譯和摘要）的代理。使用 PyTorch 單詞預測示例程式碼，該模型是一個 2 層 LSTM，具有 1000 萬個引數，該引數在公開 Reddit 資料集中隨機選擇的一個月（2017 年 11 月）上進行了訓練。假設每個 Reddit 使用者都是聯邦學習的獨立參與者，並且要確保每個使用者有足夠的資料，篩選出少於 150 個或 500 個以上帖子的使用者，總共 83，293 名參與者，平均每個人擁有 247 個帖子。將每個帖子視為訓練資料中的一句話，將單詞限制為資料集中 50K 個最常用單詞的字典，每輪隨機選擇 100 名參與者。攻擊者希望模型在使用者鍵入特定句子的開頭時預測攻擊者選擇的單詞，如圖 2（b）。圖 3 給出了單詞預測後門的修正損失。其中，圖 3（a）為標準單詞預測：在每個輸出上計算損失；圖 3（b）後門單詞預測：攻擊者用觸發語句和選擇的最後一個單詞替換輸入序列的字尾。損失僅在最後一個單詞上計算。

圖 3：單詞預測後門的修正損失

圖 4 給出了影象分類和單詞預測任務的後門攻擊準確度結果。圖 4（a）和 4（c）顯示了單發攻擊的結果，其中在攻擊之前的 5 個回合和之後的 95 個回合中，在一個回合中選擇了一個由攻擊者控制的參與者。攻擊者提交他的更新後，後門任務上全域性模型的準確度立即達到近 100％，然後逐漸降低。圖 4（b）和 4（d）給出了重複攻擊情況下的平均成功率。本文提出的攻擊方法比基線的資料中毒方法獲得更高的準確度。對於 CIFAR（圖 4（b）），控制 1％參與者的攻擊者與控制 20％資料中毒的攻擊者具有相同的（高）後門準確性。對於單詞預測（圖 4（d）），控制 0。01％的參與者能夠達到 50％的平均後門準確性（單詞預測的最大準確性通常為 20％）。

圖 4：後門準確度，a + b：帶有語義後門的 CIFAR 分類；c + d：帶有語義後門的單詞預測。a + c：單發攻擊；b + d：反覆攻擊

1.4 文章小結

本文確定並評估了聯邦學習中的一個漏洞：透過模型平均，聯邦學習使得成千上萬的參與者能夠對最終學習的全域性模型的權重產生直接影響，其中有些參與者不可避免地是惡意的。這使得惡意參與者能夠將後門子任務引入聯邦學習中。本文提出了一種新的模型攻擊方法 ——- 模型替換方法，該方法利用了聯邦學習的這一漏洞，作者在標準的聯邦學習任務上證明了其有效性，包括影象分類和單詞預測。此外，現代深度學習模型都具有強大的學習功能。因此，傳統的透過衡量模型質量來判斷是否存在後門攻擊的方法不再適用。深度模型不強調對主要任務的瞭解和適合，其強大的學習容量可以引入隱蔽的後門，而不會嚴重影響模型的準確性。

聯邦學習不僅僅是標準機器學習的分散式版本。它是一個分散式系統，因此必須對任何行為不當的參與者都具有較強的魯棒性。當參與者的訓練資料不是獨立同分布時，現有的用於拜占庭容忍的分散式學習技術都不再適用。如何設計強大的聯邦學習系統或架構是未來研究的重要課題。

2. Can You Really Backdoor Federated Learning?

論文地址：

https：//

arxiv。org/abs/1911。0796

3

本文是 Google 的一篇關於聯邦學習後門攻擊問題的文章，其中第一作者來自於 Cornell 大學。文章發表於 NeurIPS 2019。本文重點討論聯邦學習中的後門攻擊，目的是降低模型在目標子任務上的效能，同時在聯邦學習的主要任務上保持良好的效能。本文的研究也屬於定向攻擊（Targeted Attacks）和模型攻擊（Model Attack）類別。與上一篇文章所討論的問題不同的是，本文的方法允許非惡意的客戶端在目標任務中正確標註樣本。

2.1 方法簡介

2。1。1 後門攻擊

令 K 為聯邦學習網路中的客戶端總數。在每個更新回合回合 t，中央伺服器隨機選擇 C⋅K 個客戶端，C <1。令 S_t 為該客戶端集合，n_k 為客戶端 k 中的樣本數，用 w_t 表示第 t 輪時的模型引數。每個被中央伺服器選定的客戶端都會計算模型更新，用Δ（w_t）^k 表示，中央伺服器彙總各個客戶端的Δ（w_t）^k：

其中，η是中央伺服器的學習率。

對手採樣。如果客戶端的比例ε完全被洩露，那麼每一輪可能包含 0 到 min（ε ⋅K， C ⋅K）之間的任何對手。在對客戶端進行隨機抽樣的情況下，每輪中的對手數量遵循超幾何分佈。作者將此攻擊模型稱為隨機抽樣攻擊（random sampling attack）。作者在本文中考慮的另一個模型是固定頻率攻擊（fixed frequency attack），即每 f 輪中就會出現一個對手。為了公平的比較這兩種攻擊模型，作者將頻率設定為與攻擊者總數成反比（即 f = 1 /（ε ⋅C⋅K））。

後門任務。在後門任務中，對手的目標是確保模型在某些目標任務上失敗，此外，允許非惡意客戶從目標後門任務中正確標記樣本。作者在本文中透過對來自多個選定的 「目標客戶」 的示例進行分組來形成後門任務。由於來自不同目標客戶端的示例遵循不同的分佈，因此將目標客戶端的數量稱為「後門任務數量」，並探討其對攻擊成功率的影響。直觀地講，擁有的後門任務越多，攻擊者試圖破壞的特徵空間就越大，因此，攻擊者在不破壞模型在主要任務上的效能的情況下成功地對其後門進行攻擊的難度就越大。

2。1。2 模型更新中毒攻擊

如果在第 t 輪中僅選擇了一個攻擊者（假定它是客戶端 1），則攻擊者嘗試透過傳送後門模型 w* 來替換整個模型：

其中，β是提升係數。則有：

如果假設模型已經充分收斂，那麼它將在 w* 的一個小鄰域內，此時其他更新∆（w_t）^k 的值也很小。為了得到 w* 的後門模型，假設攻擊者擁有描述後門任務的集合 D_mal。同時，還假設攻擊者具有一組從真實分佈 D_trn 生成的訓練樣本。不過，在真實應用場景中，攻擊者很難獲得這樣的資料。

在無約束的加速後門攻擊場景下，對手在沒有任何約束的情況下根據 w_t，D_mal 和 D_trn 訓練得到了模型 w*。常用的訓練策略是用 w_t 初始化 D_trn∪D_mal 訓練模型。

在範數約束後門攻擊的應用場景下，每回合，模型在模型更新小於 M /β的約束下進行後門任務訓練。因此，模型更新在以因子β增強後，其範數為 M。這可以透過使用多輪預測的梯度下降訓練模型來實現，在每一輪中，使用無約束的訓練策略訓練模型，然後將其投影回 w_t 大小為 M /β周圍的 L2 球面中。

2。1。3 防禦方法

範數閾值更新（Norm thresholding of updates）。由於增強型攻擊可能會產生具有較大範數的更新，因此合理的防禦措施是讓中央伺服器簡單地忽略範數超過某個閾值 M 的更新；在更復雜的方案中，甚至可以以隨機方式選擇 M。假定對手知道閾值 M，因此它可以始終返回此閾值範圍內的惡意更新。假定對手確實已知閾值，此時範數約束防禦如下：

此模型更新可確保每個模型更新的範數較小，因此對中央伺服器的影響較小。

（弱）差異性隱私（（Weak） differential privacy）。防禦後門任務的一種數學嚴格方法是訓練具有差分隱私的模型，具體的可以透過裁減更新、附加高斯噪聲來實現。對於攻擊任務來說，一般為獲得合理的差別隱私而增加的噪聲量相對較大。由於本小節討論的目標不是隱私，而是防止攻擊，因此只新增少量的噪聲，這些噪聲在經驗上足以限制攻擊的成功。

2.2 實驗分析

本文在 EMNIST 資料庫中完成後門攻擊實驗。該資料庫是從 3383 位使用者收集的帶有註釋的手寫數字分類資料庫，其中，每位使用者大約有 100 張數字影象。他們每個人都有自己獨特的寫作風格。使用 TensorFlow Federated 框架中的聯合學習來訓練具有兩個卷積層、一個最大池化層和兩個密集層的五層卷積神經網路。每輪訓練選擇 C⋅K = 30 個客戶。在實驗中，將後門任務視為從多個選定的 「目標客戶」 中選取 7s 作為 1s 進行分類。

首先，針對兩種攻擊模型進行實驗，結果見圖 1（無約束的加速後門）和圖 2（範數約束後門攻擊）。這些圖表明，儘管固定頻率攻擊比隨機取樣攻擊更有效，但兩種攻擊模型都有相似的行為。此外，在固定頻率攻擊中，更容易檢視攻擊是否發生在特定回合中。

圖 1：針對攻擊者不同比例的固定頻率攻擊（左列）和隨機取樣攻擊（右列）的無限制攻擊，其中，綠線是後門準確度的累積平均值

圖 2：對於攻擊者所佔比例不同的固定頻率攻擊（左列）和隨機取樣攻擊（右列），範數為 10 的範數約束攻擊，其中，綠線是後門準確度的累積平均值

圖 3：範數邊界和高斯噪聲的影響。點：主要任務；實線：後門任務

在圖 3（a）中，考慮了每個使用者的範數閾值更新。假設每一輪出現一名攻擊者，對應於ε = 3。3％的被破壞的客戶端，範數邊界為 3、5 和 10（大多數回合中 90％的正常客戶端的更新低於 2），這意味著在提升之前更新的範數閾值為 0。1、0。17、0。33。從圖中可以看出，選擇 3 作為範數閾值能夠成功緩解攻擊，而對主要任務的效能幾乎沒有影響。因此，作者認為，範數閾值可能是當前後門攻擊的有效防禦措施。在圖 4（b）的實驗中，作者在範數閾值中加上了高斯噪聲。從圖中可以看出，新增高斯噪聲還可以幫助減輕攻擊，而不會超出常規限幅，且不會嚴重損害整體效能。

2.3 文章小結

本文證明了在沒有任何防禦的情況下，對手的表現在很大程度上取決於在場的對手所佔的比例。因此，要想攻擊成功，就需要有大量的對手存在。

在範數約束的情況下，多次迭代的 「預增強的」 對映梯度下降並不是有效的單輪攻擊防禦手段。事實上，對手可能會嘗試直接製作滿足範數約束的 「最壞情況」 的模型更新。此外，如果攻擊者知道他們可以在多輪攻擊中進行攻擊，那麼在範數約束下可能會存在更好的防禦策略值得進一步研究。可能影響後門攻擊效能的另一個因素是模型容量，特別是猜測後門攻擊會利用深度網路的備用容量。模型能力如何與後門攻擊相互作用是一個有趣的問題，需要進一步從理論和實踐角度來考慮。

3. Local Model Poisoning Attacks to Byzantine-Robust Federated Learning

論文地址：

https：//

arxiv。org/abs/1911。1181

5

本文是 Duke 大學 Gong Zhenqiang 教授組的一篇文章，發表在 USENIX Security Symposium 2020，重點討論如何在拜占庭魯棒的聯邦學習方法中製造有效的模型攻擊。該研究的具體內容屬於模型攻擊（Model Attack）類問題。經典的聯邦學習資料中毒攻擊（Data Poisoning Attacks）主要是透過攻擊者破壞受其控制的客戶端中的區域性 / 本地資料來實現的。這種攻擊對於拜占庭魯棒的聯邦學習是無效的。本文是首次針對具有拜占庭魯棒性的聯邦學習進行的區域性模型中毒攻擊（Local Model Poisoning Attacks）研究，其目標是在訓練階段破壞學習過程的完整性，如圖 1 所示。

圖 1：資料中毒攻擊和區域性模型中毒攻擊的區別圖示

假設攻擊者入侵了一些客戶端裝置，在學習過程中，攻擊者在這些被入侵的裝置上控制並更改本地模型引數，從而提高了全域性模型的測試誤差率。本文將所提出的攻擊方法應用到了最新的四種拜占庭魯棒的聯邦學習方法中，這些方法應用了包括 Krum ，Bulyan，修整均值和中位數的聚合規則。這四種方法都聲稱對拜占庭攻擊具有魯棒性，而本文的分析和實驗資料表明，使用本文所提出的攻擊方法能夠大幅提高這四種方法學習到的全域性模型的錯誤率。

能夠成功實現區域性模型中毒攻擊的關鍵是要將已中毒、被破壞的工作節點裝置的區域性模型傳送到主裝置。為了解決這一問題，作者將區域性模型的建立視為解決聯邦學習的每一次迭代中的最佳化問題。具體來說，如果不存在攻擊，則主裝置可以在迭代中計算得到全域性模型，將這一模型稱為「攻擊前全域性模型」。而當存在本文所提出的攻擊時，該攻擊方法會在受影響的工作節點裝置上建立區域性模型，使全域性模型在與攻擊前全域性模型變化方向的反方向上具有最大偏差。作者認為，在多次迭代中積累的偏差會使學習到的全域性模型與攻擊前的模型有明顯的差異，從而實現有效攻擊。

最後，本文還討論瞭如何針對該攻擊進行有效防禦。作者對兩種經典的針對資料中毒攻擊的防禦方法進行了歸納，以防禦本文提出的區域性模型中毒攻擊。實驗結果表明，在某些情況下，其中一種防禦方法可以有效地防禦本文的攻擊，但在其他情況下，這兩種防禦方法都是無效的。

本文所提出的攻擊方法的目標是在受影響的工作節點裝置上建立區域性模型，使全域性模型在與攻擊前全域性模型變化方向的反方向上具有最大偏差。作者認為，在多次迭代中積累的偏差會使學習到的全域性模型與攻擊前的模型有明顯的差異。最後，本文還討論瞭如何針對該攻擊進行有效防禦。作者對兩種經典的針對資料中毒攻擊的防禦方法進行了歸納，以防禦本文提出的區域性模型中毒攻擊。實驗結果表明，在某些情況下，其中一種防禦方法可以有效地防禦本文的攻擊，但在其他情況下，這兩種防禦方法都是無效的。

3.1 拜占庭魯棒的聯邦學習

聯邦學習架構主要包括三個工作流程：主裝置（中央伺服器）將當前的全域性模型傳送給工作節點裝置（各個客戶端）；工作節點裝置利用本地訓練資料集和全域性模型更新本地模型，並將本地模型傳送給主裝置；主裝置根據一定的聚合規則，透過聚合本地模型計算出新的全域性模型。例如，以區域性模型引數的平均值作為全域性模型的均值聚合規則（Mean Aggregation Rule），在非對抗性設定下被廣泛使用。但是，即使只破壞了一個工作器裝置，也可以任意操縱全域性模型的均值。因此，機器學習社群最近提出了多個聚合規則（例如，Krum ，Bulyan，修整均值和中位數），目的是針對某些特定的工作節點裝置的拜占庭式故障提供魯棒性。

3.2 聚合規則介紹

Krum 和 Bulyan。Krum 在 m 個區域性模型中選擇一個與其他模型相似的模型作為全域性模型。Krum 的想法是即使所選擇的區域性模型來自受破壞的工作節點裝置，其能夠產生的影響也會受到限制，因為它與其他可能的正常工作節點裝置的區域性模型相似。Bulyan 本質上是 Krum 和修整均值的變體結合。Bulyan 首先迭代應用 Krum 來選擇θ（θ≤m-2c）區域性模型。然後，Bulyan 使用修整均值的變體彙總θ個區域性模型。Bulyan 在每次迭代中多次執行 Krum，並且 Krum 計算區域性模型之間的成對距離，因此，Bulyan 是不可擴充套件的。本文中重點介紹 Krum。

修整均值（Trimmed mean）。該聚集規則獨立地聚集每個模型引數。具體地，對於每個第 j 個模型引數，主裝置對 m 個區域性模型的第 j 個引數進行排序。刪除其中最大和最小的β個引數，計算其餘 m-2β個引數的平均值作為全域性模型的第 j 個引數。

中位數（Median）。在中位數聚合規則中，對於第 j 個模型引數，主裝置都會對 m 個區域性模型的第 j 個引數進行排序，並將中位數作為全域性模型的第 j 個引數。當 m 為偶數時，中位數是中間兩個引數的均值。與修整均值聚集規則一樣，當目標函式為強凸時，中位數聚集規則也能達到階優誤差率。

3.3 攻擊方法介紹

背景：假設攻擊者控制了 c 工作節點裝置。攻擊者的目標是操縱學習到的全域性模型，以使其在測試示例時不加選擇地都具有較高的錯誤率，即非定向攻擊（Untargeted Attacks），它使學習的模型不可用，並最終導致拒絕服務攻擊。

上面討論的拜占庭魯棒聚集規則可以在目標函式的某些假設下，漸近地限制學習的全域性模型的錯誤率，並且其中一些（即修整後的均值和中位數）甚至可以實現階數最優的錯誤率。這些理論上的保證似乎強調了操縱錯誤率的困難。但是，漸近保證不能準確地表徵學習模型的實際效能。儘管這些漸近錯誤率對於區域性模型中毒攻擊仍然有效，因為它們對於拜占庭式失敗也有效，在實踐中，本文提出的攻擊仍可以顯著提高學習模型的測試錯誤率。攻擊者能夠掌握被破壞的工作節點裝置上的程式碼、本地區域性訓練資料集和區域性模型、聚合規則等。

最佳化問題：攻擊者的目標（本文稱其為有向偏離目標）是使全域性模型引數最大程度地偏離全域性模型引數在沒有攻擊的情況下沿其變化的方向的反方向。假設在迭代中，w_i 是使用第 i 個工作節點裝置計劃在沒有攻擊時傳送給主裝置的區域性模型。假定前 c 個工作節點裝置受到了破壞。有向偏差目標是透過在每次迭代中解決以下最佳化問題，為受損的工作節點裝置製作區域性模型：

其中 s 是所有全域性模型引數變化方向的列向量，w 是攻擊前全域性模型，w’是攻擊後全域性模型。

攻擊 Krum：假定 w 為沒有攻擊情況下的選定的區域性工作節點裝置。目標是製作 c 個折衷的區域性模型，以使 Krum 選擇的區域性模型與 w 的最大有向偏差。因此，目標是解決公式（1）中 w’ = w’_1 的最佳化問題，並且聚合規則為 Krum。

在掌握全面知識的情況下，解決最佳化問題的關鍵挑戰是最佳化問題的約束是高度非線性的，並且區域性模型的搜尋空間非常大。作者提出下面兩個假設。首先，將 w’_1 限制如下：w’_1=w_Re-λs，其中 w_Re 是當前迭代中從主裝置接收的全域性模型（即上一次迭代中獲得的全域性模型），並且λ> 0。其次，為使 w_1 更有可能被 Krum 選擇，將其他 c-1 折衷的區域性模型設計為接近 w’_1。基於這兩個假設，將最佳化問題轉換如下：

在掌握部分知識的情況下，攻擊者不知道正常工作節點裝置上的區域性模型，也就無法掌握方向 s 的變化，也無法解決最佳化問題。但是，攻擊者可以訪問受到攻擊的 c 個裝置上的攻擊前區域性模型。因此，需要根據這些攻擊前的區域性模型來設計折衷的區域性模型。首先，計算 c 個攻擊前區域性模型的均值。其次，使用平均區域性模型估算變化方向。第三，將受攻擊的工作節點裝置上的攻擊前區域性模型視為是正常工作節點裝置上的區域性模型，目標是在生成的區域性模型和 c 攻擊前區域性模型中找到區域性模型 w’_1。此時，最佳化問題如下：

修整均值攻擊：假設 w_i 在第 i 個工作節點裝置上是第 j 個攻擊前區域性模型引數，而在當前迭代中是第 j 個攻擊前全域性模型引數。

在掌握全域性知識的情況下，從理論上講，可以證明以下攻擊可以使全域性模型的有向偏差最大化。本文的攻擊會根據最大或最小正常區域性模型引數來設計折衷的區域性模型，具體取決於哪個引數會使全域性模型朝著沒有攻擊的情況下更改全域性模型的方向的反方向偏離。取樣的 c 數目應接近 w_（max，j） 或 w_（min，j），以避免離群和易於檢測。在實施攻擊時，如果 s_j = -1，那麼將在間隔 ［w_（max，j） ，b·w_（max，j） ］ 中隨機取樣 c 個數字，否則，將以［w_（min，j）/ b， w_（min，j）］ 間隔對 c 個數字進行隨機取樣。

在掌握部分知識的情況下，攻擊者面臨兩個挑戰。首先，攻擊者不知道變化的方向變數，因為不知道正常工作節點裝置上的區域性模型。其次，出於相同的原因，攻擊者不知道最初的正常區域性模型的最大 w_（max，j），最小 w_（min，j）。為了解決第一個挑戰，使用受破壞的工作節點裝置上的區域性模型來估算變化方向的變數。解決第二個挑戰的一種簡單策略是使用非常大的 w_（max，j），或使用非常小的 w_（min，j）。如果基於 w_（max，j）、w_（min，j）來設計折衷的區域性模型，而這些模型與真實值相差甚遠，那麼生成的區域性模型可能會是異常值，並且主裝置可能會容易地檢測到折衷的區域性模型。

中位數攻擊：採用與修整均值攻擊同樣的攻擊策略來進行中值攻擊。例如，在完全知識方案中，如果 s_j=-1，隨機抽取區間 ［w_（max，j） ，b·w_（max，j）］ 或［w_（max，j） ，w_（max，j）/b］中的 c 數；否則隨機抽取區間 ［w_（min，j）/ b， w_（min，j）］ 或［b·w_（min，j）， w_（min，j）］中的 c 數。

3.4 實驗分析

本文在四個資料庫中進行實驗：MNIST，FashionMNIST，CH-MNIST 和 Breast Cancer Wisconsin（診斷）資料庫。MNIST 和 Fashion-MNIST 分別包含 60，000 個訓練示例和 10，000 個測試示例，其中每個示例都是 28×28 灰度影象。這兩個資料集都是 10 類分類問題。CH-MNIST 資料庫包含來自結腸直腸癌患者的 5000 張組織切片影象。資料庫是一個 8 類分類問題。每個影象具有 64×64 灰度畫素。我們隨機選擇 4000 張影象作為訓練示例，其餘 1000 張作為測試示例。Breast Cancer Wisconsin（診斷）資料庫是診斷人是否患有乳腺癌的二元分類問題。該資料集包含 569 個示例，每個示例都有 30 個描述一個人細胞核特徵的特徵。隨機選擇 455 個（80％）示例作為訓練示例，並使用其餘 114 個示例作為測試示例。

聯邦學習架構中考慮的分類方法包括：多類邏輯迴歸（Multi-class logistic regression，LR）、深度神經網路（Deep neural networks ，DNN）。本文采用的攻擊對比基線方法包括：高斯攻擊（Gaussian attack）、標籤翻轉攻擊（Label flipping attack）、基於反向梯度最佳化的攻擊（Back-gradient optimization based attack）、全部知識攻擊或部分知識攻擊（Full knowledge attack or partial knowledge attack）。

A 已知聚合規則的結果

表 1：測試各種攻擊的錯誤率

表 1 顯示了在四個資料庫上進行比較的攻擊的測試錯誤率。首先，這些結果表明我們的攻擊是有效的，並且大大優於現有的攻擊。其次，除了在 Breast Cancer Wisconsin（診斷）資料庫上，Krum 與中位數攻擊的效果相當之外，Krum 對本文的攻擊的魯棒性不如均值和中位數高。

圖 2：測試 MNIST 資料庫中不同攻擊的錯誤率，（a）-（c）：LR 分類器，（d）-（f）：DNN 分類器

圖 2 給出了隨著 MNIST 上受到破壞的工作節點裝置的百分比增加，不同攻擊的錯誤率。隨著受到破壞的工作節點裝置數量的增加，本文的攻擊會大大提高錯誤率。作為基線對比的標籤翻轉攻擊只會稍微增加錯誤率，而高斯攻擊則對錯誤率沒有產生明顯的影響。圖 2 的實驗中有兩個例外是，當被破壞的工作人員裝置的百分比從圖 2a 中的 5％增加到 10％，以及，從圖 2d 中的 10％增加到 15％時，Krum 的錯誤率降低。作者分析，這可能是因為 Krum 每次迭代都會選擇一個區域性模型作為全域性模型。

圖 3：提高 MNIST 上資料的非 IID 程度，不同攻擊的錯誤率變化

圖 3 給出了針對 MNIST 上不同程度的非 IID 資料進行的攻擊的錯誤率變化情況。包括無攻擊在內的所有攻擊的錯誤率都隨著非 IID 程度的提升而增加，只有針對 Krum 的攻擊的錯誤率會隨著非 IID 的程度而波動。可能的原因是，由於不同工作節點裝置上的區域性訓練資料集的非 IID 情況越來越嚴重，區域性模型呈現更加多樣化的分佈狀態，從而為攻擊留下了更多空間。

B 未知聚合規則的結果

針對未知聚合規則，作者基於某一個聚合規則構建區域性模型，之後透過實驗驗證分析其對其他聚合規則的攻擊效果。表 2 顯示了聚合規則之間的可轉移性，其中也分別考慮了 MNIST 和 LR 分類器。「 Krum 攻擊」和 「修整均值攻擊」 表示分別基於 Krum 和修整平均聚合規則來構建折衷的區域性模型。本實驗中考慮部分知識攻擊。表中給出的數字結果是測試錯誤率。

表 2：聚合規則之間的可轉移性

C 防禦方法介紹

本文將用於防禦資料中毒攻擊的 RONI 和 TRIM 概括用於防禦本文提出的的區域性模型中毒攻擊。在聯邦學習的每次迭代計算全域性模型之前，兩種通用防禦都刪除了可能有害的區域性模型。一種廣義防禦方法刪除了對全域性模型的錯誤率具有較大負面影響的區域性模型（受 RONI 的啟發，後者刪除了對模型的錯誤率具有較大負面影響的訓練示例），而另一種防禦方法則除去了區域性模型導致大量損失（受 TRIM 的啟發，刪除了對損失有較大負面影響的訓練示例）。在這兩種防禦中，都假定主裝置具有一個小的驗證資料集。像現有的聚合規則（例如 Krum 和修整均值）一樣，假設主裝置知道受破壞的工作節點裝置數量的上限 c。

表 3 給出了針對不同聚合規則的攻擊的防禦結果，表中的數字表示錯誤率，實驗環境設定為 MNIST 資料庫和 LR 分類器。「 Krum」和 「 Trimmed Mean」 列表示攻擊者在進行攻擊時假定的聚合規則，而各行則表示實際的聚合規則和防禦措施。對於每個區域性模型，當包含區域性模型時，使用聚合規則來計算全域性模型 A；在排除區域性模型時，使用全域性規則 B 來計算全域性模型 B。該實驗在驗證資料庫上計算全域性模型 A 和 B 的錯誤率，分別記為 EA 和 EB，將 EA-EB 定義為區域性模型的錯誤率影響，基於錯誤率的拒絕（Error Rate based Rejection，ERR）。較大的 ERR 表示如果在更新全域性模型時將區域性模型包括在內，則區域性模型會顯著增加錯誤率。此外，實驗中還考慮另外一個指標：基於損失函式的拒絕（Loss Function based Rejection，LFR）。像基於錯誤率的拒絕一樣，對於每個區域性模型，計算全域性模型 A 和 B。在驗證資料庫上計算模型 A 和模型 B 的交叉熵損失函式值，分別記為 LA 和 LB，將 LA-LB 定義為區域性模型的損失影響。像基於錯誤率的拒絕一樣，刪除損失影響最大的 c 個區域性模型，並彙總其餘區域性模型以更新全域性模型。表 3 中的 Union 表示 ERR+LFR。

本實驗中考慮部分知識攻擊。表 3 的結果說明兩方面問題，一是，LFR 與 ERR 相當或比 ERR 更有效，即 LFR 的測試錯誤率與 ERR 相似或小得多。二是，在大多數情況下，Union 與 LFR 相當，但在一種情況下（Krum + LFR 對 Krum 和 Krum + Union 對 Krum），Union 更有效。第三，LFR 和 Union 可以在某些情況下有效防禦本文提出的攻擊方法。

表 3：防禦結果

3.5 文章小結

本文提出了一種模型中毒攻擊方法，並證明了機器學習社群中給出的對某些工作節點裝置的拜占庭式故障具有魯棒性的聯邦學習方法很容易受到本文所提出的區域性模型中毒攻擊方法的攻擊。在針對攻擊的防禦問題中，作者對現有的資料中毒攻擊的防禦措施進行了歸納總結，用以抵禦本文提出的模型中毒攻擊方法。不過，這些歸納後得到的防禦措施在某些情況下是有效的，但在其他情況下卻是無效的。本文重點關注聯邦學習中的非定向攻擊，作者提出將會在今後的工作中開展更多針對定向攻擊的研究。

4. Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks

論文地址：

https：//

arxiv。org/abs/1912。1271

6

本文是 University of Minnesota Georgios B。 Giannakis 教授團隊的成果，主要研究的是對拜占庭攻擊具有魯棒性的聯合方差縮減隨機梯度下降方法。具體的，本文討論在惡意拜占庭攻擊的情況下，在聯邦學習網路中進行分散式有限最佳化學習的問題。為了應對這種攻擊，迄今為止，大多數方法是將隨機梯度下降（stochastic gradient descent，SGD）與不同的魯棒性聚合規則相結合。然而，SGD 誘發的隨機梯度噪聲使我們很難區分由拜占庭攻擊者傳送的惡意資訊和 「真實」 客戶端傳送的隨機梯度噪聲。這促使本文作者考慮透過降低隨機梯度的方差，作為在拜占庭式攻擊中魯棒性 SGD 的手段，即：如果隨機梯度噪聲很小，惡意資訊應該很容易識別。為減少隨機最佳化過程中的方差，本文選擇了 SAGA［2］ 。在有限求和最佳化中 SAGA 被證明是最有效的，同時適合於分散式的環境，因此能夠滿足聯邦學習架構的要求。

4.1 演算法分析

考慮一個網路有一個主節點（中央伺服器）和 W 個工作節點（客戶端裝置），其中 B 個工作節點是拜占庭攻擊者，他們的身份不為主節點所知。W 是所有工作節點的集合，B 是拜占庭攻擊者的集合。資料樣本均勻地分佈在誠實的工作節點 W 上。f_w，j（x） 表示第 j 個數據樣本在誠實工作節點 w 處的損失相對於模型引數 x 的損失。有限求和最佳化問題記為：

求解該問題的主要難點在於拜占庭攻擊者可以串通，向主節點發送任意的惡意訊息，從而使最佳化過程出現偏差。為此，本文假設 B

在收集到所有工作節點的隨機梯度後，主節點更新模型為：

其中，γ^k 為非負步長。分散式 SGD 可以擴充套件到它的 mini-batch 版本，即每個工作節點均勻地隨機選擇一個 mini-batch 的資料樣本，並將平均的隨機梯度傳回主節點。誠實的工作節點向主節點發送真正的隨機梯度，而拜占庭的工作節點可以向主節點發送任意的惡意訊息，以擾亂（偏置）最佳化過程。讓（m_w）^k 表示工作節點 w 在輪次 k 向主節點發送的訊息，給定為：

分散式 SGD 更新變為：

使用 {z； z ∈Z} 表示法線空間中的一個子集，{z； z ∈Z}的幾何中位數為

基於此，分散式 SGD 可以被修改成抗拜占庭式攻擊的形式：

當拜占庭工作節點的數量 B

圖 1：隨機梯度噪聲對幾何中位數聚集的影響

由圖 1 可知，當誠實工作節點發送的隨機梯度方差較小時，真實均值與聚集值之間的差距也較小；也就是說，同樣的拜占庭攻擊效果較差。在這一觀察的啟發下，作者提出減少隨機梯度的方差，以增強對拜占庭攻擊的魯棒性。

在分散式 SAGA 中，每個工作節點都維護著一個其所有本地資料樣本的隨機梯度表。具體的：

其中，ɸ^（k+1）_（w，j）是指在最近的 k 輪次結束時計算得到最新的 f’_（w，j）值的迭代。具體的，i^k_w 是本地資料樣本的索引，即在輪次 k 由工作節點 w 基於資料樣本 i^k_w 進行訓練。f’_（w，j）（ɸ^k_（w，j））是指在工作節點 w、輪次 k 中，之前儲存的第 j 個數據樣本的隨機梯度，以及可以計算得到：

上式結果表示工作節點 i 在輪次 k 處的修正隨機梯度。SAGA 的模型更新表示為：

此時，工作節點 w 在輪次 k 向主節點發送的訊息為：

本文使用的魯棒性聚集規則是幾何中位數。這就引出了所提出的拜占庭攻擊彈性分散式形式的 SAGA：

本文所提出的抗擊拜占庭攻擊的 SAGA，簡稱 Byrd-SAGA，完整演算法如下：

圖 2：抗擊拜占庭攻擊的 SAGA

圖 2 給出抗擊拜占庭攻擊的 SAGA 的圖解。為了便於說明，誠實工作節點從 1 到 W-B，而拜占庭攻擊者從 W-B+1 到 W，但實際操作中，拜占庭攻擊者的身份是主節點不知道的。本文作者對抗擊拜占庭攻擊的 SAGA 還進行了理論分析，感興趣的讀者可以查閱原文相關內容。

4.2 實驗分析

本文給出了凸和非凸學習問題的數值實驗。本文使用 IJCNN1 和 COVTYPE 資料集。其中，IJCNN1 包含 49，990 個訓練資料樣本，p=22 個維度。COVTYPE 包含 581012 個訓練資料樣本，p=54 個維度。在實驗中考慮三種類型的攻擊，包括：高斯、符號翻轉和零梯度攻擊。實驗中利用均值和幾何中位數聚集規則，對 SGD、mini-batch （B）SGD（BSGD）和 SAGA 進行比較。與 SGD 相比，BSGD 的隨機梯度噪聲較小，但計算成本較高。相比之下，SAGA 也降低了隨機梯度噪聲，但其計算成本與 SGD 相同。對於每個演算法採用一個恆定的步長大小。具體計算程式碼及應用的資料庫可見

https：//

github。com/MrFive5555/B

yrd-SAGA

。

實驗結果分別見圖 3 和圖 4，其中，SAGA geomed 代表 Byrd-SAGA。從上至下：誠實資訊的最優性差距和方差。從左至右：無攻擊、高斯攻擊、符號翻轉攻擊和零梯度攻擊。在拜占庭攻擊下，使用平均聚合的三種演算法都失敗了。而在三種使用幾何中位數聚合的演算法中，Byrd-SAGA 明顯優於其他兩種，而 BSGD 則優於 SGD。這表明了減少方差對處理拜占庭攻擊的重要性。在誠實資訊的方差方面，Byrd-SAGA、抗擊拜占庭攻擊 BSGD 和抗擊拜占庭攻擊 SGD 在 IJCNN1 資料集中的方差分別為 10^3、10^2 和 10^1。

對於 COVTYPE 資料集，Byrd-SAGA 和抗擊拜占庭攻擊 BSGD 在誠實資訊方面具有相同的方差變化情況。Byrd-SAGA 實現了與抗擊拜占庭攻擊 BSGD 相似的最優性差距，但收斂速度更快，因為它能夠使用更大的步長。

圖 3：IJCNN1 資料集上使用均值和幾何中位數聚合規則的分散式 SGD、mini-batch （B）SGD 和 SAGA 的效能

圖 4：COVTYPE 資料集上使用均值和幾何中位數聚合規則的分散式 SGD、mini-batch （B）SGD 和 SAGA 的效能

4.3 文章小結

針對聯邦學習中的拜占庭攻擊問題，本文提出了一種新型的抗拜占庭攻擊的 Byrd-SAGA 方法，透過聯合有限求和最佳化抵抗拜占庭攻擊。Byrd-SAGA 中的主節點使用幾何中位數而不是平均數來聚合收到的模型引數。這種聚合方式顯著地提高了 Byrd-SAGA 在受到拜占庭攻擊時的穩健性。該方法確保了 Byrd-SAGA 能夠線性收斂到最優解的鄰域，其漸近學習誤差完全由拜占庭工作節點數決定。作者提出，今後研究方向將是在完全去中心化的網路上開發和分析抗拜占庭攻擊方法。

作者介紹：

仵冀穎，工學博士，畢業於北京交通大學，曾分別於香港中文大學和香港科技大學擔任助理研究員和研究助理，現從事電子政務領域資訊化新技術研究工作。主要研究方向為模式識別、計算機視覺，愛好科研，希望能保持學習、不斷進步。

關於機器之心全球分析師網路 Synced Global Analyst Network

機器之心全球分析師網路是由機器之心發起的全球性人工智慧專業知識共享網路。在過去的四年裡，已有數百名來自全球各地的 AI 領域專業學生學者、工程專家、業務專家，利用自己的學業工作之餘的閒暇時間，透過線上分享、專欄解讀、知識庫構建、報告發布、評測及專案諮詢等形式與全球 AI 社群共享自己的研究思路、工程經驗及行業洞察等專業知識，並從中獲得了自身的能力成長、經驗積累及職業發展。

提交申請：

http：//

jiqizhixin。mikecrm。com/

rg2RY52