《Future Generation Computer Systems》：Federated learning for heterogeneous neural networks with layer similarity relations in Cloud–Edge–End scenarios
編輯推薦：
在聯邦學習（FL）中，傳統方法假定客戶端資源充足且模型架構相同，與現實不符。研究人員提出異構 FL 方法 HNN-LSFL，在異構數據集上評估發現，該方法提升客戶端資源利用率、優化 FL 性能、降低隱私泄露風險，為解決模型異構問題提供新途徑。
一、研究背景
隨著人工智能的蓬勃發展，聯邦學習（Federated Learning，FL）作為一種新興的機器學習方法嶄露頭角。它允許眾多參與者在不共享原始數據的情況下，協同訓練一個共享模型，巧妙地避開了本地設備數據暴露的風險，有效解決了數據隱私和安全問題，同時也降低了數據集中化帶來的風險。
然而，傳統的 FL 存在一個不太符合現實的假設：所有客戶端都被認為擁有充足的本地資源，并且能夠訓練相同架構的模型。但在真實世界里，參與 FL 的用戶設備千差萬別，具有顯著的異構性。不同設備的存儲和計算能力參差不齊，例如智能手機和車輛的性能差距巨大。這就導致一些資源受限的設備難以承擔大型模型的訓練成本，只能選擇小型模型；而資源充足的設備若使用小型模型，則會造成計算資源的浪費，還會削弱其性能表現。這種設備間的差異使得模型異構問題逐漸凸顯，成為制約 FL 發展的重要因素。
此外，當前研究大多聚焦于解決數據異構性問題，對于模型異構性的關注相對較少。雖然已有部分基于知識蒸餾（Knowledge Distillation，KD）的方法嘗試應對模型異構問題，但這些方法依賴額外的公共數據集來校準學生模型和教師模型的輸出。一旦公共數據集與客戶端數據集的分布差異增大，基于 KD 的 FL 性能就會大幅下降。在這樣的困境下，開展新的研究來突破模型異構的瓶頸迫在眉睫。
內蒙古大學的研究人員挺身而出，致力于解決這一難題。他們提出了一種全新的異構 FL 方法 ——HNN-LSFL（Heterogeneous Neural Networks with Layer Similarity Relations in Federated Learning）。該研究成果發表在《Future Generation Computer Systems》上，為聯邦學習領域帶來了新的曙光。
二、關鍵技術方法
研究人員采用云邊端分層架構，利用邊緣服務器先聚合同構模型，減少異構模型聚合頻率；通過計算異構模型間的層相似性，建立不同模型層之間的連接，并在小模型中適當填充層以實現異構模型聚合；還將模型層劃分為塊，提出基于層相似性的模型分區塊聚合方法，僅聚合不同模型間相似性高的塊，以此降低通信成本。
三、研究結果
- HNN-LSFL 框架設計：研究人員精心設計了 HNN-LSFL 框架，它允許客戶端根據自身的計算資源，選擇不同架構的神經網絡模型進行本地訓練。通過這種方式，充分發揮了不同設備的優勢，提高了資源利用率。
- 層相似性計算與模型聚合：通過計算異構模型之間的層相似性，成功建立了不同模型層之間的聯系。在小模型中合理填充層，實現了異構模型在聯邦學習中的有效聚合，使得不同模型能夠相互借鑒、協同進步。
- 模型分區塊聚合降低通信成本：基于層相似性對模型層進行分塊，提出模型分區塊聚合方法。該方法只聚合不同模型間相似性高的塊，大幅減少了聯邦學習中的通信成本，提高了學習效率。
- 實驗驗證：在圖像分類任務中對 HNN-LSFL 進行評估。結果令人驚喜，與其他方法相比，HNN-LSFL 不僅將準確率提高了 1.32% - 5.46%，還將近乎減半地降低了通信成本，充分證明了其有效性和優越性。
四、研究結論與討論
HNN-LSFL 的出現，為解決聯邦學習中的模型異構問題提供了一種創新且有效的解決方案。它通過獨特的云邊端分層架構，充分利用了云服務器強大的計算能力，降低了異構模型多次對齊和聚合的計算成本，同時減少了與云服務器的通信成本，非常適合大規�？蛻舳藞鼍�。
計算層相似性的方法就像是為不同模型搭建了一座溝通的橋梁，讓它們能夠找到彼此的共性，實現更有價值的聚合，減少不必要參數的傳輸，進而降低了隱私泄露的風險。在圖像分類任務中的出色表現，有力地證明了 HNN-LSFL 在提升模型性能和優化聯邦學習效率方面的巨大潛力。
不過，研究也存在一定的局限性。例如，隨著客戶端數量的增加，盡管采用了云邊端架構，但對齊的計算成本仍然會有所上升，客戶端的等待時間也可能隨之延長。未來的研究可以朝著進一步優化計算復雜度、提高系統響應速度的方向展開，以更好地適應更加復雜和大規模的應用場景。
總體而言，這項研究成果為聯邦學習在異構模型領域的發展開辟了新的道路，為后續研究提供了重要的參考和借鑒，有望推動聯邦學習技術在更多實際場景中的廣泛應用，助力人工智能領域的持續創新與發展。
