课题组在联邦少样本学习方面取得了相关进展,相关研究成果以题为“FedFM: A federated few-shot learning method by comparison network and model calibration”的论文于2024年12月发表在中科院一区Top期刊《Knowledge-Based Systems》(IF=7.2)。
联邦学习通过交换加密模型参数的方式来实现分布式模型协同训练。然而,当前联邦方法的可用性受到数据标签稀缺和客户端异构等问题的限制。现有方法面临的挑战如图所示。

针对上述挑战,本文提出一类联邦少样本学习方法,将表示学习和度量学习集成到联邦学习框架中,实现自动化图像分类,而无需昂贵的数据标注。为提高特征提取效率,本文设计了一个嵌入网络和一个比较网络,用于计算样本特征间的相似性分数,以提升少样本学习的分类性能。此外,在参数聚合过程中引入了模型校准更新方法,以解决数据非独立同分布产生的梯度差异问题。除了提供更好的少样本学习性能和在隐私保护方面,本方法还可以扩展到零样本学习中。
论文信息
Chen Zhao, Shudi Bao, Meng Chen, Zhipeng Gao, Kaile Xiao, Peng Dai. FedFM: A federated few-shot learning method by comparison network and model calibration[J]. Knowledge-Based Systems, 2024, 309: 112848
(https://doi.org/10.1016/j.knosys.2024.112848)