FEDERATED ADVERSARIAL DOMAIN ADAPTATION

“Federated Adversarial Domain Adaptation”由Xingchao Peng、Zijun Huang等人撰写。论文提出联邦对抗域适应（FADA）方法，解决联邦学习中的域迁移问题，通过理论分析给出泛化误差界，并通过实验验证了模型的有效性。

1. 研究背景与问题

联邦学习与域迁移：联邦学习提升了数据隐私和效率，但节点数据非独立同分布(non-i.i.d)，导致域迁移，使模型难以推广到新设备。文中定义了无监督联邦域适应（UFDA）问题，旨在解决从分散节点到新节点的知识迁移，且无需额外用户监督。

现有工作局限：现有无监督域适应方法无法直接应用于联邦学习场景，因其需要访问源域和目标域数据，但是联邦学习无法直接接触目标域数据集，且未考虑联邦学习中模型参数训练的差异和知识纠缠问题。

2. 相关工作

无监督域适应：包括基于差异、重建和对抗的方法，但这些方法假设数据集中在一台服务器上，不适用于分布式学习系统。

联邦学习：是一种去中心化学习方法（分布式学习），但现有方法在处理非独立同分布数据时存在局限性，且大多未考虑无监督域适应问题。

特征解耦：旨在学习可解释的表示，去除无关特征和与当前域有关的特征。本文受相关工作启发，提出通过对抗训练将训练数据提取的深层特征解耦为域不变特征和域特定特征。直观上的解耦表征：将特征表示分解成多个互相独立的因素，这里有一篇相关介绍：https://zhuanlan.zhihu.com/p/399286095

3. 联邦域适应的泛化误差界

• 符号定义与单源域适应误差界：定义了相关符号，回顾了单源域适应的典型理论误差界。

• 联邦域适应的误差界：推导了无监督联邦域适应的误差界，该误差界表明了权重 $ α $ 和域差异 \(d_{H \Delta H}(D_{S}, D_{T})\) 在联邦域适应中的重要性。

这里的公式不是很好理解，但是公式推导大概证明了域差异对模型性能的影响。

4. 联邦对抗域适应（FADA）

动态注意力机制：不同节点模型收敛速度和域迁移程度不同，动态注意力机制通过掩码调整源域梯度权重，依据目标特征聚类效果评估源域贡献，提升对目标域有益节点的权重。

联邦对抗对齐：为解决域差异导致的模型性能下降问题，提出联邦对抗对齐，将优化分为域特定的局部特征提取器和全局判别器两个独立步骤（利用特征解耦），通过对抗训练对齐源域和目标域分布。

特征解耦：利用对抗解耦提取域不变特征，将特征分离为域不变和域特定部分，并通过最小化它们之间的互信息增强解耦效果，同时使用重建器保持表示的完整性。

优化：模型采用端到端训练方式，使用随机梯度下降最小化联邦对抗对齐损失、特征解耦损失和任务损失。

5. 实验

实验设置：在数字分类、物体识别和情感分析等多个任务上进行实验，使用多个数据集，在GPU集群上模拟联邦系统，用PyTorch实现模型，并设置不同消融实验。

实验结果与分析：FADA在各任务上均优于基线方法，证明了模型的有效性；动态注意力和对抗对齐能提升性能，且FADA在生成特征嵌入和提取域不变特征方面表现更优。

6. 结论

提出UFDA问题并推导其理论泛化误差界；提出FADA模型，通过动态注意力机制将分布式源域知识转移到未标记目标域；特征解耦提升了FADA在UFDA任务中的性能，实验验证了FADA相对于多个基线的有效性。