宜兴淘宝网站建设,一个网站要多少钱,wordpress 大神,seo的优缺点个性化联邦学习助力提升客户体验 考虑边缘设备间的数据异构性#xff0c;能够产生更有用的本地和全局模型更新。 联邦学习是一种框架#xff0c;允许边缘设备#xff08;如某机构的智能音箱#xff09;协同训练一个全局模型#xff0c;同时将客户数据保留在设备本地。一个…个性化联邦学习助力提升客户体验考虑边缘设备间的数据异构性能够产生更有用的本地和全局模型更新。联邦学习是一种框架允许边缘设备如某机构的智能音箱协同训练一个全局模型同时将客户数据保留在设备本地。一个标准的联邦学习系统包含一个云端服务器和多个客户端设备。每个设备拥有其本地数据以及正在运行的机器学习模型的本地副本。在联邦学习的每一轮训练中云端服务器将当前的全局模型发送给客户端客户端使用设备上的数据训练其本地模型并将模型发送回云端服务器聚合这些本地模型并更新全局模型。联邦学习也有一个个性化分支旨在定制本地模型以提升其在本地数据上的性能。在许多实际应用中不同客户端的本地数据集可能具有异构分布。在某机构近期发表的一篇论文中我们展示了一种考虑这种异构性的训练流程能够提高联邦学习中本地和全局模型的效率与准确性。量化不确定性特别地我们考虑了联邦学习系统内的两种异构性度量(1)客户端内不确定性描述单个本地模型在不同时间点的差异(2)客户端间不确定性表征在同一时间框架内不同用户的本地模型之间的差异。客户端间不确定性越大表明边缘设备间的本地数据分布越异构个性化也就越重要。客户端内不确定性越大意味着本地模型特别是其可学习参数在联邦学习的不同轮次间变化越大。据此我们的方法根据这两个不确定性值调整本地训练配置和联邦学习聚合规则。为了评估我们的方法我们将它与七种早期的联邦学习算法在七个涵盖图像和音频数据的不同数据集上进行了比较。结果发现我们的方法在全局和本地模型上均 consistently 取得了最高的准确率。考虑不确定性我们的直觉是在训练本地模型时选择合适的初始模型和训练步数对于最小化训练损失、从而实现所需的个性化至关重要。我们的方法称为Self-FL其根源在于使用贝叶斯层次模型进行的理论分析其中客户端内和客户端间不确定性定义了层次结构的不同层级。通过贝叶斯分析我们推导出这两个不确定性度量与三个本地配置因素相关的方程(1)本地初始模型用作本地模型训练的起点(2)学习率决定单个训练样本对网络权重的影响程度(3)早停规则决定何时应停止训练过程以防止过拟合。在实践中我们无法精确测量客户端内和客户端间不确定性的数值。但在论文中我们提供了几种估算它们的方法。在我们的实验中我们使用基于训练过程中参数优化方差的估计值。据我们所知这是首个将个性化联邦学习与层次建模联系起来并使用不确定性量化来驱动个性化的工作。自适应联邦学习聚合规则现有的联邦学习算法通常使用本地模型的加权和来更新全局模型其中每个本地模型的权重与其本地数据集大小成比例。我们的框架使用一种自适应的聚合规则来更新全局模型以实现更好的个性化。特别是我们从贝叶斯层次模型中推导出聚合规则其中全局模型参数被视为统计模型的“根”。其核心思想是一个本地模型的训练数据与全局平均值的偏差越大该模型对这些数据的训练响应就应该越灵敏。反之本地模型参数优化的不确定性越大在更新全局模型时其权重就应该越小。该方法旨在直接和间接地提升边缘设备个性化模型的准确性直接地通过使模型更好地适应用户可能遇到的数据类型间接地通过使分发给所有客户端的全局模型更加准确。实证结果表明相对于先前的联邦学习方案Self-FL 提升了边缘客户端的性能。因此它有望通过使设备更精准地响应用户的特定需求来优化客户体验。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享