- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器之心
联邦学习 OR 迁移学习？No，我们需要联邦迁移学习
2016 年，Google 首次提出了针对移动设备的联邦学习（FL）系统 [1]，该系统允许用户形成一个联合体训练得到一个集中模型，而用户数据则安全地存储在本地，这就解决了数据隐私和安全保护问题。 在其他因素不变的情况下，通信成本可以简化为 O(d^2)。 2.1.3 本文小结 本文提出了一个安全的联邦迁移学习（FTL）框架，引入了同态加密和密文共享两种保护隐私的安全方法。 FATE 是由 Webank 的 AI 部门发起的开源项目，旨在提供安全的计算框架来支持联邦 AI 生态系统。它基于同态加密和多方计算（MPC）实现安全的计算协议。 它支持联邦学习体系结构和各种机器学习算法的安全计算，包括逻辑回归，深度学习和迁移学习等。FATE 官方网站：https://fate.fedai.org/。FATE 的整体结构如下。 定理 2. （联邦域自适应的加权误差界）。设 H 是一个 VC 维的假设类，且有： ? (Dt)^ 是由联邦学习系统中每个源域和目标域的 m 大小的样本分别导出的经验分布。
1.7K30发布于 2020-11-20 - 来自专栏亨利笔记
联邦学习与云原生联邦学习平台
在近日GDG举办的“AI 隐私保护：探索跨域数据的安全流动”活动中，VMware中国研发云原生实验室资深研究员、联邦学习开源项目 FATE/KubeFATE代码维护者彭麟，分享了云原生联邦学习平台的题目 为了解决数据方面的问题，有三种常见的解决方案：生成式对抗网络、迁移学习和联邦学习，此处重点讲解联邦学习。 联邦学习和传统的机器学习相比，传统的机器学习是模型不动、数据动；而联邦学习是数据不动、模型动。 联邦学习又可细分横向联邦学习与纵向联邦学习，分别用于应对两种不同的数据孤岛情况。 数据孤岛情况 1: 样例分散在不同的组织，单个组织样例不足以支持优质训练，适用使用横向联邦学习。 数据孤岛情况 2: 样本数据的特征分散在不同组织，单个组织有样本片面的理解，造成训练结果偏差，适合使用纵向联邦学习。 ，分布式系统、分层结构，复杂的企业环境：安全、网络、遗留系统适配问题，引入人工智能的第四个要素——运维。
1.2K60编辑于 2023-04-04 - 来自专栏计算机工具
安全多方计算、联邦学习和可信执行环境
隐私计算的三大技术流派：联邦学习、安全多方计算、可信计算 1.多方安全计算，由姚期智院士于1982年首次提出，通过设计特殊的加密算法和协议，在无可信第三方情况下的安全计算约定函数问题，近年来，基于同态加密 2.联邦学习，是一种分布式机器学习框架，能够在不需要共享各方原始数据的条件下实现联合建模等计算训练任务，在打破数据孤岛的同时确保数据的安全可控。 根据计算数据集的不同类型可分为横向、纵向联邦学习与联邦迁移学习。 3.可信执行环境，是指运行在可信硬件之上的安全隔离环境，执行经过授权的安全软件，保障关键代码和数据的机密性、完整性不受恶意软件破坏。 八分量的隐私计算系统是基于联邦学习、安全多方计算、可信执行环境、区块链等核心技术自主研发而成，能够为数据交换、数据共享提供隐私保护能力。 在八分量隐私计算系统中， 多方安全计算主要是在保证数据安全的前提下，实现多方数据的联合计算； 联邦学习主要是在多个参与方各自原始私有数据不出各方私有安全边界的前提下，完成联合机器学习任务； 可信执行环境则用于保证在可信硬件构建的安全区域内运行授权程序
1.8K10编辑于 2024-12-13 - 来自专栏腾讯安全
腾讯安全联邦学习应用服务白皮书
1.png 2.png 3.png image.png 5.png 6.png 7.png 8.png 9.png 10.png 11.png 12.png 13.png
3.2K139发布于 2020-04-18 - 来自专栏腾讯安全
一图看懂腾讯安全联邦学习应用服务
产业互联网时代， 在应用AI挖掘大数据潜在价值的趋势下， “联邦学习”成为推动AI落地的关键能力之一。 企业应该如何应用“联邦学习”技术， 打破“数据孤岛”，助力业务服务创新创效？ 一张图，带您了解腾讯安全联邦学习应用服务 长图final.png
75140发布于 2020-04-29 - 来自专栏AI工程
联邦学习简介
谷歌于2017年提出联邦学习的训练方法，发表了相关博客链接[1]，从[1]这篇文章的标题《Federated Learning: Collaborative Machine Learning without Centralized Training Data》可以看出来谷歌对于联邦学习的基本定义是，无需通过中心化的数据，即可训练一个机器学习模型。 谷歌提出的联邦学习思想中，可以参考另一个介绍文章[2]，给出的例子是toC的训练，例子中数据保存在个人移动设备中（手机），不需要数据上传，大体的思路是： ? 谷歌提出的toC应用中，每个训练终端相当于有且只有一个用户（因为是手机嘛），但是用户特征高度重叠（例如都是搜索引擎点击记录），这种情况下被[4]称为横向联邦学习。 这种情况下被文献[4]称为纵向联邦学习。
1.7K40发布于 2020-08-10 - 来自专栏亨利笔记
联邦学习：保护隐私安全以及克服数据孤岛的机器学习
联邦学习是最有前途的机器学习技术之一，可帮助克服数据孤岛，加强数据隐私和安全的同时仍遵守例如GDPR等法律法规。 由于《数据安全法》、GDPR等法律法规等限制，这两家企业不能简单地合并他们的数据。联邦学习可以通过在加密机制下交换参数来创建全局模型，同时确保遵守数据隐私法律。 利用联邦学习和多组织数据构建安全模型，数据可以跨组织互联互通，形成维度重叠的智能安全网络。借助云计算和大数据分析，智能安防系统不断进行事后总结和自我学习。 2 用例二： 基于联邦学习的信用风险管理 对于信用风险管理，因为整个过程调用了不同的数据API，所以单个客户的信用审查成本较高。 联邦学习的多源数据融合机制能够包括交易数据、税收、声誉、金融、无形资产和其他小微企业数据，以帮助金融机构在不损害数据隐私或安全的情况下丰富其特征空间。
1.2K20编辑于 2023-04-04 - 来自专栏AI科技评论
联邦学习下的安全矩阵分解 | 2021 WAIC 论文分享
8日下午，星云Clustar受邀出席同期举办的「2021 WAIC· 隐私计算学术交流会」，并进行了基于联邦学习的安全矩阵分解框架的论文分享。 论文分享的题目是《Secure Federated Matrix Factorization》，该论文基于联邦学习环境，首创性地提出了名为「FedMF」的安全矩阵分解框架。 据悉，FedMF已经成功落地于全球首个工业级联邦学习开源框架FATE。 星云Clustar合作设计了基于FedMF安全矩阵分解框架的联邦推荐算法（FedRec），该算法在FATE框架中的有效运用使得联邦学习在推荐系统的应用更加明确化。 更多安全定义。目前我们用了经典的horizontal联邦学习安全定义，这个定义架设了参与方的诚实性，以及服务器的honest-but-curious。
81230发布于 2021-07-27 - 来自专栏计算机技术-参与活动
联邦学习数据交易平台的安全性实验
## 联邦学习数据交易平台的安全性实验在联邦学习数据交易平台的安全性实验中，模拟恶意攻击场景以展示方案的安全性是非常重要的。 2. **检测与应对措施** - **数据完整性验证** - 在数据上传到区块链时，计算数据的哈希值（如使用MD5算法或更安全的哈希算法如SHA - 256）并将其记录在区块链上。 ### 2. 恶意节点干扰攻击模拟与应对1. **攻击模拟** - **模型参数干扰** - 恶意节点在参与联邦学习模型训练过程中，故意上传错误或恶意修改的模型参数。 特别是在使用加权联邦聚合算法（如论文中的FedWeg算法）时，恶意节点的这种行为可能导致数据权重失衡，使模型聚合偏向于其他恶意或不准确的数据提供者。2. 在这个环境中，模拟多个数据供应方（Dss）和数据需求方（Dds）之间的联邦学习数据交易过程。
64611编辑于 2024-12-22 - 来自专栏腾讯安全
一文透析腾讯安全联邦学习应用服务
图片2.png 横向联邦学习应用层面，主要针对拥有同构数据的大量终端用户，如互联网APP用户，通过融合终端用户对相同设备或应用的不同体验进行AI联合建模。 图片3.png 腾讯安全联邦学习应用服务的优势是什么？ 保护隐私、大数据分析能力强、接入便捷，模型高效 作为“PaaS+SaaS级”联邦学习产品，腾讯安全联邦学习应用服务具备安全性高、大数据分析能力强、接入便捷、高效率和成本低的四大优势： 首先，充分满足企业机构隐私保护和数据安全的需求 图片4.png 腾讯安全联邦学习应用服务的适用场景是？ 金融风控、营销风控与智能终端应用 目前，腾讯安全联邦学习应用服务适用于金融风控、营销风控、智能终端等领域。 目前，腾讯安全联邦学习应用服务与银行、消金、互金等金融机构广泛开展合作，助力金融大数据信贷风控业务。 图片5.png 在营销风控领域，腾讯安全研发了航空票务营销风控场景联邦学习应用服务。
1.4K20发布于 2020-04-02 - 来自专栏破晓
【机器学习】联邦学习技术
引言 在大数据时代，数据隐私和安全成为了一个日益重要的议题。 为了解决这些问题，联邦学习（Federated Learning, FL）应运而生，它允许各个数据拥有方在不共享原始数据的前提下，共同训练一个机器学习模型。 联邦学习的定义与原理 联邦学习是一种分布式机器学习范式，其核心思想是利用分散在各参与方的数据集，通过隐私保护技术融合多方数据信息，协同构建全局模型。 联邦学习的用例 联邦学习因其独特的隐私保护特性，在多个领域得到了广泛应用，如： 手机输入法：利用用户的输入数据优化下一个词预测模型，同时保护用户隐私。 联邦学习示例与代码 以下是一个简化的联邦学习示例，使用Python和PyTorch框架模拟联邦学习的训练过程。
90610编辑于 2024-08-29 - 来自专栏AI科技大本营的专栏
联邦学习，为何而生？
随着大数据、边缘计算、大型云计算平台和各种开源框架的发展，机器学习等人工智能技术以前所未有的速度应用到各个行业，人工智能技术带来了新的挑战，数据的隐私和安全引起了全世界的重视。 安全分享难，这不仅是数据管理技术的需求，还涉及信任问题。 2. 利用难，由于数据来源于不同的企业和组织，很可能在数据格式方面不统一，那么在融合时就会出现问题。 3. 而联邦学习提供了一种解决数据安全和“数据孤岛”问题的可行性方向。 纵向联邦学习训练示意图 联邦学习有如下几点优势： 1. 数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求； 2. 联邦学习像“数据孤岛”之间的特殊桥梁，通过传输变换后的临时变量，既能实现模型效果提升，又能确保隐私信息的安全。
54110编辑于 2023-05-08 - 来自专栏博文视点Broadview
联邦学习，为何而生？
安全分享难，这不仅是数据管理技术的需求，还涉及信任问题。 2. 利用难，由于数据来源于不同的企业和组织，很可能在数据格式方面不统一，那么在融合时就会出现问题。 3. 而联邦学习提供了一种解决数据安全和“数据孤岛”问题的可行性方向。 纵向联邦学习训练示意图 联邦学习有如下几点优势。 1. 数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求； 2. ▊《联邦学习技术及实战》 彭南博 王虎 著 保护隐私安全，连接数据孤岛 本书针对产业界在智能化过程中普遍面临的数据不足问题，详细地阐述了联邦学习如何帮助企业引入更多数据、提升机器学习模型效果。 联邦学习像“数据孤岛”之间的特殊桥梁，通过传输变换后的临时变量，既能实现模型效果提升，又能确保隐私信息的安全。
54610编辑于 2023-05-19 - 来自专栏腾讯安全
联邦学习、线上信贷、金融安全课程开始报名 | 产业安全公开课
本次「产业安全公开课」金融安全专场中，邀请了来自腾讯安全和深信服的三位安全专家，分别对金融领域中的非接触式信贷安全、数据保护和融合、银行数字化转型等方面进行金融安全解决方案的分享和实用防护的建议。 产业公开课1.jpg 课程前瞻 ▼ 大数据时代，如何使用 联邦学习进行安全合规的数据融合？ 产业公开课2.jpg 近年来随着人工智能技术的高速发展，社会各界对隐私保护的需求不断加强，数据使用监管越来越趋向严格。 本课程将为用户详细介绍联邦学习技术如何连接数据孤岛、进行安全有效的数据融合，并从行业痛点、基本技术和应用服务等维度全面解读腾讯安全的联邦学习产品和实用建议。 银行如何快速完成信贷数字化建设？ 腾讯安全联合生态合作伙伴共同发起「产业安全公开课」，定期邀请安全专家以线上、视频课程的形式，解读产业数字化转型中最受关注的安全问题，积累多年的安全经验、饱经实战检验的解决方案与最佳实践向金融、零售、政务
72440发布于 2020-04-17 - 来自专栏腾讯大数据的专栏
快速上手联邦学习——腾讯自研联邦学习平台PowerFL实战
联邦学习应运而生，通过这一新兴技术，可以在确保用户隐私和数据安全的前提下，各组织间交换模型信息的过程被精心地设计和全程加密，使得没有组织能够猜测到其他任何组织的隐私数据内容，但却实现联合建模的目的。 计算框架：在计算和数据资源之上，PowerFL实现了一套针对联邦学习算法的计算框架，与传统的机器学习框架相比，这套框架重点解决了联邦学习算法和应用在实践过程中最常见的几个难点：1）安全加密：PowerFL 实现了各种常见的同态加密、对称和非对称加密算法（包括Paillier、RSA非对称加密等算法）；2）分布式计算：基于Spark on Angel的高性能分布式机器学习框架，通过PowerFL可以轻松实现各种高效的分布式联邦学习算法 算法协议：基于上述计算框架，PowerFL针对不同场景实现了常见的联邦算法协议：1）在分析场景下，PowerFL支持联合查询和两方/多方的样本对齐；2）针对建模场景，PowerFL支持联邦特征工程（包括特征选择 应用场景：在完善了上述联邦学习的基础设施之后，PowerFL可以在安全合规的前提下解决金融风控、广告推荐、人群画像、联合查询等多个应用场景下由于数据隔离和碎片化造成的“数据孤岛”问题，真正赋能遵守隐私规范的人工智能和大数据应用
4.5K52发布于 2020-10-26 - 来自专栏计算机工具
联邦学习-Tensorflow实现联邦模型AlexNet on CIFAR-10
分享一种实现联邦学习的方法，它具有以下优点： 不需要读写文件来保存、切换Client模型 不需要在每次epoch重新初始化Client变量 内存占用尽可能小（参数量仅翻一倍，即Client端+Server 懒得看讲解的可以直接拉到最后的完整代码章节，共有四个代码文件，运行python Server.py即可以立马体验原汁原味的（单机模拟）联邦学习。 咱没那么多显存TAT 概括一下：联邦学习的Clients，只是普通TF训练模型代码上，加上模型变量的值提取、赋值功能。 也反面证明了，Non-I.I.D.确实是联邦学习的一个难题。 lrn(conv2, 2, 2e-05, 0.75, name='norm2') pool2 = max_pool(norm2, 3, 3, 2, 2, padding='VALID
58210编辑于 2024-12-14 - 来自专栏KI的算法杂记
KBS 2021 | 联邦学习综述
从数据划分方面来讲，联邦学习可以分为横向联邦学习、纵向联邦学习和联邦迁移学习。 2. 联邦学习中常见的隐私保护机制有：模型聚合、同态加密和差分隐私。 3. 因此，纵向联邦学习可以增加训练数据的特征维数。简而言之，数据集1中选取用户1到n的特征1到n进行训练，数据集2中选取用户1到n的特征n到2n进行训练。 总结 联邦学习作为一种可以实际应用的模型，在强调数据隐私和数据安全的同时，也被越来越多的研究者和企业所接受。 另一方面，当用户没有足够的数据标签学习时，联邦学习不仅可以为用户提供安全的模型共享机制，还可以将模型迁移到特定的任务中，解决数据标签不足的问题。 相信在不久的将来，联邦学习可以为更多的应用提供安全、共享的安全服务，促进人工智能的稳定发展。
1.2K10编辑于 2022-11-08 - 来自专栏AI科技评论
联邦学习最新研究趋势！
具体而言，其工作流程包括6个部分：1.问题识别；2.客户端设置；3.模型原型开发；4.联邦模型训练；5.模型评估；6.部署， 具体到训练过程，主要包括：1.客户端选择；2.广播；3.客户端计算；4.聚合 2 跨设备设置以外的 其他联邦学习设置和问题 在联邦学习的训练中，服务器一直在扮演着中心角色，当客户端数量非常庞大的时候，服务器可能会成为训练的瓶颈。 出现这种问题的原因主要有三个方面：1.不同的客户端分布；2.违反独立性假设；3.数据集迁移。 如何处理Non-IID数据呢？最一般的方法是修改现有的算法。 在本节中，论文介绍了联邦学习的分布式特性、体系结构设计和数据约束打开了新的失败模式和攻击面。此外值得注意的是，在联邦学习中保护隐私的安全机制可能会让检测和纠正变得十分困难。 探究隐私与稳健性之间的张力：往往使用安全聚合技术来加强隐私保护，但通常会使防御敌意攻击变得更加困难，因为中央服务器只看到客户端更新的集合，因此，研究在使用安全聚合时如何防御敌意攻击非常重要。
2.2K10发布于 2020-03-16 - 来自专栏学习
机器学习——边缘计算与联邦学习
传统的集中式学习方法需要将数据集中存储在一个服务器上进行训练，这种方法带来了许多挑战，例如隐私问题、数据安全以及传输带宽的高需求。为了解决这些问题，边缘计算和联邦学习逐渐被提出并应用于机器学习场景中。 这篇博客将深入讨论边缘计算和联邦学习的基本原理、应用场景以及如何结合二者来实现更加智能和安全的数据处理。 2. 联邦学习概述 联邦学习是一种新兴的分布式机器学习方法，旨在将数据保存在本地设备上，仅共享模型更新（如梯度），而不是原始数据。联邦学习的核心目标是通过协作学习的方式保护用户隐私。 边缘计算与联邦学习的结合 边缘计算与联邦学习的结合可以解决许多传统集中式学习中存在的问题。在这种架构中，联邦学习可以利用边缘设备来进行本地化训练，而边缘计算可以为联邦学习提供更高效的数据处理能力。 结论 边缘计算和联邦学习为机器学习提供了一种新的范式，使得数据处理更加高效、安全。在这种分布式学习方式下，数据隐私得到了更好的保护，实时性也得到了提升。
2K10编辑于 2024-10-09 - 来自专栏计算机工具
联邦学习结合协同推理
以下是对这两项技术及其相关算法的详细介绍和展望： 联邦学习 联邦学习是一种分布式机器学习框架，它允许多个设备或组织在保护数据隐私的前提下共同训练模型。 在AIoT应用场景中，联邦学习可以从以下几个方面进行展望： 异构环境中的联邦学习：随着AIoT设备的多样化和异构化，如何在不同硬件和软件环境下高效地进行联邦学习成为了一个挑战。 联邦持续学习：在AIoT应用场景中，设备会不断地产生新的数据，因此模型需要不断地进行更新和优化。联邦持续学习旨在解决如何在保护数据隐私的前提下，实现模型的持续学习和更新。 未来的研究可以关注于如何设计高效的联邦持续学习算法，以及如何处理新旧数据之间的不一致性和冲突。 联邦强化学习：强化学习是一种通过试错来优化策略的机器学习方法。 此外，随着大模型时代的到来，联邦学习可以用于训练大模型，同时大模型也可以用于产生联邦学习所用的训练数据。
46110编辑于 2024-12-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号