通过联邦忘却学习撤销用户数据对模型更新的方式解决联邦学习中存在的隐私泄露问题。联邦忘却学习的一般架构图：
具体流程；
- 联邦学习。中心服务器协同用户进行联邦学习，训练得到最优模型参数。
- 数据更新撤销。用户可以在任意时刻向中心服务器发送撤销数据请求。中心服务器根据用户的请求使用忘却学习算法重新训练得到的模型参数。
- 用户将数据从联邦学习系统中删除，防止数据被重新训练。
- 重新开始联邦学习任务，恢复全局模型的准确率。
用户在不同场景下提出的联邦忘却学习请求有所不同，主要体现在联邦忘却学习对全局模型的忘却粒度。
- 样本忘却。样本忘却是从联邦学习模型中撤销特定数据样本对模型的训练更新，是细粒度的忘却学习请求，也是联邦忘却学习中常见的请求之一。
- 类别忘却。类别忘却用于分类任务中撤销单个或多个类别的数据对全局模型的训练更新。
- 任务忘却。在多任务训练模式下，模型学习多个任务时可以因任务之间的相关性获得性能上的收益。任务忘却是粗粒度的忘却学习请求，用于撤销某个任务所有数据对模型的训练更新，但会因大量的数据撤销而产生灾难性的忘却。
面向全局模型的联邦忘却学习算法通过直接修改全局模型参数来实现对目标数据的忘却。
重新训练能够完全撤销特定用户对模型的训练更新，是将全局模型训练后的参数初始化为随机值，并在剩余数据集上重新训练。重新训练基本架构图：
针对重复性的再训练工作，用户贡献删除算法可以减少用户重复训练的时间和通信开销。重新训练因将参数回退而需要大量时间开销用于再训练。用户贡献删除基本架构图：
面向全局模型的联邦忘却学习算法优缺点、适用模型、发起者和忘却学习请求类型的不同如下：
面向局部模型的联邦忘却学习算法利用历史训练信息进行模型忘却，其主要在现有模型的基础上增加一定的联邦学习训练，训练过程中对局部模型进行修正，通过直接聚合的方式实现忘却学习。
训练更新校正算法避免重新训练的过程，具体过程：
训练梯度校正算法的思想是增加联邦学习训练，修改部分用户的训练方法，通过直接聚合来更新全局模型参数。训练梯度校正算法基本架构图：
面向局部模型的代表算法在模型优缺点、适用模型、发起者和忘却学习请求类型的不同如下：
面向特定结构的联邦忘却学习算法解决特定模型结构的忘却学习问题，该类算法通过结构信息计算用户数据贡献的参数位置，准确地删除用户数据对模型的贡献。
决策树、支持向量机等传统机器学习模型在工业场景得到了广泛的应用，但是也存在着因模型记忆而导致的利益冲突。考虑到这个问题，研究者将联邦忘却学习应用于传统机器学习模型。
深度神经网络中各层上的参数通过加权、乘积等方式构建了输入与输出之间的映射。目前的研究针对卷积层等特定结构，探索参数对模型输入输出的贡献，实现了高效的联邦忘却学习。
- 面向全局模型的联邦忘却学习算法虽然能够有效地删除目标用户对全局模型的训练更新，但模型准确率会在短时间内大幅降低，而且恢复后的模型难以在短时间内达到撤销模型更新之前的映射效果，主要适用于不考虑用户延迟、高度关注用户隐私等场景。
- 面向局部模型的联邦忘却学习算法利用模型训练产生的数据信息，在此基础上通过训练实现联邦忘却。因此，面向局部模型的联邦忘却学习算法可以防止模型准确率的急剧下降。面向局部模型算法适用于服务器具有较高计算能力和空间等场景。
- 面向特定结构的联邦忘却学习算法可以利用模型的结构信息和训练产生数据信息，因此在特定的模型上往往表现出良好的忘却学习效果，同时能够尽可能地减少准确率损失，但其仅适合特定的模型结构，存在着一定限制。 不同种类联邦忘却学习算法的优点、缺点、解决问题以及适应场景，具体如下：
模型表现指标的研究对象是机器学习模型，用于评估联邦忘却学习算法对机器学习模型的影响程度，包括准确率、损失函数等；遗忘效果指标的研究对象为忘却学习算法，遗忘效果是对联邦忘却学习算法执行效率和数据贡献删除能力的评价，包括相对熵、遗忘率等；隐私保护指标是在联邦忘却学习在隐私保护方面抵抗攻击入侵能力的评价，其研究对象是模型的鲁棒性。
- 准确率（Accuracy）作为机器学习的重要指标，在联邦忘却学习中同样重要。准确率用于衡量训练所产生的分类器在测试集中的预测能力，即多少的样本被分类器正确地预测。
- 准确率差（Accuracy Difference）是联邦忘却学习前后全局模型在测试集中的预测准确率差值，能够直观地判断联邦忘却学习前后对全局模型准确率变化。
- 召回率（Recall Rate，RR）和F1-score（F1），分别用于评估模型对正样本的预测能力，以及评估模型对正样本和准确率之间综合的预测能力。
- 损失函数（Loss Function）通常是非负实值函数，表示训练样本的真实值与预测值的之间的误差。目前损失函数可分为基于距离度量的损失函数和基于概率分布的损失函数。
- 相对熵（Relative Entropy），也称为 KL 距离（Kullback-Leibler Divergence，KL），用于衡量两个概率分布相似性的评价指标。一般情况下，KL 距离越小说明忘却学习算法的效果越好。
- 遗忘率（Forgetting Rate，FR）是联邦忘却学习前后“已知”和“未知”之间的转换率，衡量在联邦忘却学习前后有多少样本从全局模型的记忆集变为未知集。
- 在语言模型中，曝光误差（Exposure）是测量模型对给定序列记忆程度的指标。
- 时间（Time）就是联邦忘却学习的执行时间，用于衡量联邦忘却学习算法的执行效率。联邦忘却学习的执行时间主要包括撤销数据对模型更新的时间和联邦学习提升模型精度的时间。
- 后门攻击成功率（Backdoor Attack）即后门攻击成功次数与后门攻击发起次数的之比。模型后门是通过参与训练得到的、深度神经网络中的隐藏模式。后门攻击是在训练期间设置模型后门，使模型产生错误的预测：在后门未激活的情况下，恶意节点与正常节点具有相同的表现；而一旦后门被激活，训练模型的输出将变为攻击者预先设置的标签。
- 成员推断攻击成功率（ Membership Inference Attack）即成员推断攻击成功次数与成员推断攻击发起次数之比。机器学习模型预测训练后数据和未曾训练数据的表现通常不同，成员推断攻击利用这一特点通过对全局模型的测试判断，构建与训练集相似的数据，进而获取用户的隐私数据。即使对模型的参数、结构不了解，该攻击仍然有效。
常用性能指标的类型、优点和缺点如下：
联邦学习是一种分布式人工智能算法，与此同时不掌握用户数据，因此研究联邦忘却学习算法未来存在以下挑战：
（1）分布式的训练方式导致联邦忘却学习难以完全撤销目标用户（请求忘却学习的用户）对模型的数据贡献。联邦学习是在保护用户隐私的前提下进行分布式训练，每个参与的用户都会保留全局模型的参数并在本地进行训练。因此，仅仅在全局模型中撤销某个用户的训练更新是远远不够的，因为其他用户的掌握模型参数仍然保留着待撤销的用户更新，在之后的训练中仍会被聚合到全局模型中。
（2）模型训练的增长过程使联邦忘却学习难以利用已训练的信息。联邦学习模型的训练是一个增长的过程，先前所有用户数据的训练更新都决定了当前用户在本地的模型参数更新，并且其他用户对模型的训练也会因增长的训练过程包含目标用户数据的踪迹。因此，仅撤销目标用户的本地更新会极大地降低全局模型的准确率，而且撤销更新后的模型仍然会保留对目标数据的记忆。
（3）大量的数据撤销导致灾难性的忘却。一般而言，联邦忘却学习后的模型在准确率的表现要比重新训练的模型差。当忘却学习的数据量增加时，全局模型的准确率会急剧下降。尽管一些研究通过设计特殊的损失函数来缓解灾难性的忘却，但如何防止灾难性的忘却仍然需要被解决。