- 综合排序
- 最热优先
- 最新优先
- 来自专栏采云轩
模块联邦浅析
二.联邦模块插件的结构及其常见的调用方式（Module Federation Plugin） 上面我们大概了解了下模块联邦插件的大致使用方法。 模块联邦作为一个 webpack5 时期新出的插件，形态上看通常是一个带有 apply 方法的类。 联邦模块有两个主要概念：Host（消费其他 Remote）和 Remote（被 Host 消费）。 联邦模块是基于 webpack 做的优化，所以在深入联邦模块之前我们首先得知道 webpack 是怎么做的打包工作。 总结 通过这篇文章，我们收获了 模块联邦的基础概念。 模块联邦常用的配置项。 通过简易配置实现雏形项目开发。 模块联邦的基本原理。
2.2K20编辑于 2022-08-30 - 来自专栏前端专享
Vite 也可以模块联邦
前言 之前写过一篇文章，《将 React 应用迁移至 Vite》介绍了 Vite 的优势，并且和 webpack 做对比，但 webpack5 有个很重要的功能，就是模块联邦，那么什么是模块联邦？ 什么是模块联邦？ 模块联邦解决了什么问题 我们要在多个应用直接实现模块共享，我们原来是怎么做的？ (Rollup) 也实现了完整的模块联邦能力。 本文介绍了什么是模块联邦，在模块联邦之前，前端模块共享存在着各种痛点，并且通过在线例子演示了模块联邦的配置，也介绍了vite-plugin-federation 插件的使用及原理，它让我们可以在 Vite
6.3K41编辑于 2022-09-16 - 来自专栏腾讯新闻前端团队
hel-micro 模块联邦新革命
图片hel-micro，模块联邦sdk化，免构建、热更新、工具链无关的微模块方案 ，欢迎关注与了解模块联邦之缘起自谷歌chrome浏览器异军突起，并在2008年9月2号 正式官宣发布 v8 js引擎之后 图片而且联邦模块天生具有双重身份，即可以是模块消费者，也可以是模块提供者，这让模块联邦应用之间形成了天然的网格关系，模块分发效率、部署效率、共享效率都得到了前所未有的提升！ 图片模块联邦的阿喀琉斯之踵webpack 5或者其他工具带来的模块联邦实现真的完美了吗？ 模块联邦新革命破除这两大难题的唯一解就是将其sdk化，这是hel-micro对模块联邦实现的全新思考，也是发起模块联邦新革命的秘密武器。 图片降维打击对比依赖工具插件实现的模块联邦，hel-micro从语言层面的实现将对其他模块联邦实现造成降维打击。
2.5K52编辑于 2022-09-02 - 来自专栏前端精读评论
精读《Webpack5 新特性 - 模块联邦》
1 引言 先说结论：Webpack5 模块联邦让 Webpack 达到了线上 Runtime 的效果，让代码直接在项目间利用 CDN 直接共享，不再需要本地安装 Npm 包、构建再发布了！ 模块联邦是 Webpack5 新内置的一个重要功能，可以让跨应用间真正做到模块共享，所以这周让我们通过 webpack-5-module-federation-a-game-changer-in-javascript-architecture 这篇文章了解什么是 “模块联邦” 功能。 模块联邦的使用方式如下： const HtmlWebpackPlugin = require("html-webpack-plugin"); const ModuleFederationPlugin = 3 总结 模块联邦为更大型的前端应用提供了开箱解决方案，并已经作为 Webpack5 官方模块内置，可以说是继 Externals 后最终的运行时代码复用解决方案。
2.8K20编辑于 2022-03-14 - 来自专栏Web大前端
Webpack模块联邦：微前端架构的新选择
Webpack模块联邦（Module Federation）是Webpack 5引入的一项革命性特性，它彻底改变了微前端架构的实现方式。 模块联邦允许不同的Web应用程序（或微前端应用）在运行时动态共享代码，无需传统的打包或发布过程中的物理共享。这意味着每个微应用可以独立开发、构建和部署，同时还能轻松地共享组件、库甚至是业务逻辑。 易于维护和扩展：模块联邦的松耦合特性使得添加或移除微应用变得简单快捷。Webpack模块联邦通过简化微前端架构中的代码共享机制，为现代Web应用的开发和维护提供了一种高效且灵活的解决方案。 实战案例：构建一个简单的微前端应用让我们通过一个简单的例子来演示如何使用Webpack模块联邦构建两个微应用：一个容器应用和一个远程应用。1. Webpack模块联邦支持异步加载，只需在导入时使用import()函数即可。
1.6K00编辑于 2024-06-07 - 来自专栏云前端
一种基于模块联邦的插件前端
原文：https://malcolmkee.com/blog/a-plugin-based-frontend-with-module-federation/ 在谈及模块联邦及其独立构建和部署的特性（通常称为微前端 虽然这的确是一个问题，特别是当只使用模块联邦拼接多个UI时，其好处可能不会立即显现的时候；答案就在于它无缝集成多个前端应用程序，并允许组件和函数调用一起工作的能力。 这就是为什么模块联邦是目前构建微前端应用程序的最佳技术。 在本文中，我将为前端应用程序提供一个利用模块联邦的插件架构。 以模块联邦实现的插件系统 模块联邦的一种典型模式包括一个单体应用程序（host），它从多个较小的应用程序（remote）中导入代码。 host和remote都可以独立构建和部署，并且可以使用模块联邦在运行时将它们缝合在一起。
73610编辑于 2024-02-17 - 来自专栏亨利笔记
联邦学习与云原生联邦学习平台
在近日GDG举办的“AI 隐私保护：探索跨域数据的安全流动”活动中，VMware中国研发云原生实验室资深研究员、联邦学习开源项目 FATE/KubeFATE代码维护者彭麟，分享了云原生联邦学习平台的题目 回放链接请戳 《联邦学习与云原生联邦学习平台》彭麟 人工智能的三大要素分别是算法、算力和数据，但数据的现状并不理想，存在数据孤岛、数据分布不均的问题。 为了解决数据方面的问题，有三种常见的解决方案：生成式对抗网络、迁移学习和联邦学习，此处重点讲解联邦学习。 联邦学习和传统的机器学习相比，传统的机器学习是模型不动、数据动；而联邦学习是数据不动、模型动。 联邦学习又可细分横向联邦学习与纵向联邦学习，分别用于应对两种不同的数据孤岛情况。 数据孤岛情况 1: 样例分散在不同的组织，单个组织样例不足以支持优质训练，适用使用横向联邦学习。 KubeFATE 是一个云原生联邦学习平台，具有可插拔、可扩展的特点。FATE-Operator 是 Kubeflow 官方子项目，是 Kubeflow 联邦学习方案。
1.1K60编辑于 2023-04-04 - 来自专栏机器之心
联邦学习 OR 迁移学习？No，我们需要联邦迁移学习
机器之心分析师网络 作者：仵冀颖 编辑：H4O 在这篇文章中，作者通过 4 篇论文详细介绍了联邦学习中的联邦迁移学习问题，并探讨了向经典联邦学习中引入迁移学习的目的和意义。 本文关注联邦迁移学习方法，在介绍联邦学习和迁移学习相关知识的基础上，重点探讨向经典联邦学习中引入迁移学习的目的和意义。此外，本文还将梳理目前主流的联邦迁移学习方法，并重点介绍其中的 4 篇文章。 本文提出了联邦转移学习（FTL）来解决现有联邦学习方法的局限性，利用迁移学习为联邦学习框架下的样本和特征空间提供解决方案。 此外，所提出的基于 FL 平台的模块化设计可以支持不同的任务。作为平台的一部分，本文提出了一种新的分层优化方案和两种梯度聚合方法，使得训练收敛速度比其他分布式或 FL 训练算法提高了近一个数量级。 三、结束语 在这篇文章中我们重点关注了联邦学习中的联邦迁移学习问题。在回顾联邦学习、迁移学习的基础上，依托四篇文章对联邦迁移学习的基本架构、知识以及应用情况、算法等进行了讨论。
1.5K30发布于 2020-11-20 - 来自专栏AI工程
联邦学习简介
谷歌于2017年提出联邦学习的训练方法，发表了相关博客链接[1]，从[1]这篇文章的标题《Federated Learning: Collaborative Machine Learning without Centralized Training Data》可以看出来谷歌对于联邦学习的基本定义是，无需通过中心化的数据，即可训练一个机器学习模型。 谷歌提出的联邦学习思想中，可以参考另一个介绍文章[2]，给出的例子是toC的训练，例子中数据保存在个人移动设备中（手机），不需要数据上传，大体的思路是： ? 谷歌提出的toC应用中，每个训练终端相当于有且只有一个用户（因为是手机嘛），但是用户特征高度重叠（例如都是搜索引擎点击记录），这种情况下被[4]称为横向联邦学习。 这种情况下被文献[4]称为纵向联邦学习。
1.6K40发布于 2020-08-10 - 来自专栏腾讯开源的专栏
开源公告|hel-micro-node, 免构建、平台化的node模块联邦方案
项目简介 hel-micro-node 是 hel+下面的一个子模块，专注于提供node端模块联邦解决方案，相比竞品 @module-federation/node，提供更多独有特性，接入更简单，使用更方便 node应用才能使用服务端模块联邦技术， 仅需引入 hel-micro-node sdk 即可。 # 下载仓库源码 git clone https://github.com/Tencent/hel # 进入helpack 目录（关于服务端模块联邦的演示在此目录下） cd helpack # 安装依赖 ● 减少镜像编译次数，节约平台磁盘空间 一次镜像编译通常都会是几个G，模块联邦仅需要部署子模块不到1M的产物到cdn即可，宿主不再需要走编译代码、发布镜像过程，大大降低了部署平台的镜像存储空间。 ● 提高模块分发效率，降低上线时间 由于模块可动态下发到服务中，不需要服务重启，当模块被多个宿主使用时，可做到对单个模块的一次部署，所有使用的宿主可立即生效的效果。
18910编辑于 2026-01-27 - 来自专栏计算机工具
联邦学习-Tensorflow实现联邦模型AlexNet on CIFAR-10
Server保管，Clients提供更新 数据（Data）由Clients保管、使用文章的代码环境、库依赖： Python 3.7 Tensorflow v1.14.x tqdm（一个Python模块 懒得看讲解的可以直接拉到最后的完整代码章节，共有四个代码文件，运行python Server.py即可以立马体验原汁原味的（单机模拟）联邦学习。 咱没那么多显存TAT 概括一下：联邦学习的Clients，只是普通TF训练模型代码上，加上模型变量的值提取、赋值功能。 虽然它逻辑很简单，但我希望观众老爷们能注意到其中的两个联邦点：Server端代码没有接触到数据；每次参与训练的Clients数量相对于整体来说是很少的。 也反面证明了，Non-I.I.D.确实是联邦学习的一个难题。
45110编辑于 2024-12-14 - 来自专栏计算机技术-参与活动
大语言模型（LLM）的子模块拆拆分进行联邦学习；大语言模型按照多头（Multi-Head）拆分进行联邦学习
目录大语言模型（LLM）的子模块拆拆分进行联邦学习方式概述简单示例大语言模型按照多头（Multi-Head）拆分进行联邦学习场景设定多头拆分与联邦学习示例说明大语言模型（LLM）的子模块拆拆分进行联邦学习大语言模型 （LLM）的子模块拆分进行联邦学习，主要涉及到将大模型的不同部分或功能模块在多个客户端或设备上进行分布式训练，同时保护数据隐私并提升模型性能。 联邦学习设置：在多个客户端上设置联邦学习环境，每个客户端持有自己的私有数据，并负责训练对应的子模块。参数更新与聚合：客户端训练完成后，将子模块的参数更新发送到中央服务器。 我们可以按照以下步骤进行联邦学习：初始化模型：在每个客户端上初始化大语言模型的子模块，并设置相同的初始参数。分布式训练：法律机构A训练法律术语编码器，使用其持有的法律术语数据。 法律机构C训练上下文理解模块，使用其持有的法律文档数据。参数更新与聚合：每个客户端训练完成后，将子模块的参数更新发送到中央服务器。
72220编辑于 2024-10-02 - 来自专栏AI科技大本营的专栏
联邦学习，为何而生？
纵向联邦学习训练示意图 联邦学习有如下几点优势： 1. 数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求； 2. 并且越来越多的人关注到联邦学习这个新兴技术，希望系统地掌握联邦学习的原理，并在产业应用中解决具体问题。 《联邦学习技术与实战》正是在这样的背景下撰写和出版的。 领导团队研发联邦学习技术和产品、模型管理体系、监控体系等。 王虎则负责联邦组网过程中的算法研究和模型优化，在联邦学习产品化、探索实践的过程中积累了大量经验。 不仅深入浅出地讲解了具体的联邦学习算法，联邦交集计算以及联邦特征工程等理论知识，同样针对实践过程中可能遇到的通信、资源不足等问题给出了优化方案。 本书介绍了联邦学习技术的原理和实战经验，主要内容包括隐私保护、机器学习等基础知识，联邦求交、联邦特征工程算法，三种常见的联邦形式，以及工程架构、产业案例、数据资产定价等。
44810编辑于 2023-05-08 - 来自专栏博文视点Broadview
联邦学习，为何而生？
纵向联邦学习训练示意图 联邦学习有如下几点优势。 1. 数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求； 2. 并且越来越多的人关注到联邦学习这个新兴技术，希望系统地掌握联邦学习的原理，并在产业应用中解决具体问题。 《联邦学习技术与实战》正是在这样的背景下撰写和出版的。 领导团队研发联邦学习技术和产品、模型管理体系、监控体系等。 王虎则负责联邦组网过程中的算法研究和模型优化，在联邦学习产品化、探索实践的过程中积累了大量经验。 不仅深入浅出地讲解了具体的联邦学习算法，联邦交集计算以及联邦特征工程等理论知识，同样针对实践过程中可能遇到的通信、资源不足等问题给出了优化方案。 本书介绍了联邦学习技术的原理和实战经验，主要内容包括隐私保护、机器学习等基础知识，联邦求交、联邦特征工程算法，三种常见的联邦形式，以及工程架构、产业案例、数据资产定价等。
47910编辑于 2023-05-19 - 来自专栏Hadoop实操
HDFS Federation（联邦）简介
---- 1 文档编写目的 本文主要介绍HDFS Federation（联邦）相关知识，为后续文章《如何为CDH集群启用Federation（联邦）》做一个简单的铺垫。 Federation即为“联邦”，该特性允许一个HDFS集群中存在多组Namenode同时对外提供服务，分管一部分目录（水平切分），彼此之间相互隔离，但共享底层的Datanode存储资源。 总结 2 Federation背景 2.1 单组Namenode架构 HDFS主要有两大模块： Namespace（命名空间）：由目录、文件和块组成，它支持所有命名空间相关的文件操作，如创建、删除、修改 2.Federation是简单鲁棒的设计，由于联邦中各个Namenode之间是相互独立的。Federation整个核心设实现大概用了3.5个月。 所有的Namenodes是联邦的，也就是说，他们之间相互独立且不需要互相协调，各自分工，管理自己的区域。
7.6K60发布于 2018-09-29 - 来自专栏腾讯大数据的专栏
助力联邦——Pulsar在Angel PowerFL联邦学习平台中的应用
本文将介绍Pulsar在Angel PowerFL 联邦学习平台中的应用，探索MQ和联邦学习的跨界合作过程。 01 背 景 Angel PowerFL联邦学习平台及其通信模块要求 Angel PowerFL联邦学习平台构建在Angel之上，利用AngelPS支持万亿级模型训练的能力，将很多在Worker上的计算提升到 PS端；Angel PowerFL为联邦学习算法提供了计算、加密、存储、状态同步等基本操作接口，通过流程调度模块协调参与方任务执行状态，而通信模块完成了任务训练 过程当中所有数据的传输。 数据安全 虽然Angel PowerFL所有数据都通过加密模块进行了加密，但参与联邦学习的业务可能分布在不同公司，跨公网进行传输，需要通信模块足够安全，不易被攻击。 02 基于Pulsar的Angel PowerFL通信模块实现 参与联邦学习的各个业务（Angel PowerFL称之为Party，每个Party有不同的ID，比方说 10000/20000），可能分布在同个公司的不同部门
1.5K41发布于 2020-08-06 - 来自专栏亨利笔记
联邦学习新领域FedVision：视觉联邦框架与技术展望
VMware招聘联邦学习、隐私计算开发工程师 转发一则联邦学习讲座消息： 在深度学习大放异彩的AI时代，计算机视觉是AI应用的重要领域之一。而联邦学习，作为AI应用的最后一公里。 在数据安全、隐私保护备受重视的今天，联邦学习在视觉领域的探索，也在不断推进中。 微众银行联邦学习团队，近期就在GitHub（https://github.com/FederatedAI/FedVision）上开源了FedVision v0.1视觉联邦框架，这将是联邦学习的新领域。 这是首个轻量级、模型可复用、架构可扩展的视觉横向联邦开源框架，内置PaddleFL/PaddleDetection插件，支持多种常用的视觉检测模型，助力视觉联邦场景快速落地。 在实际生产环境中，助力视觉横向联邦项目进行快速落地。 想了解更多细节信息吗？ 欢迎参加本周四(1月21日）晚上7:00 在FATE开源社区中开启的2021年首期圆桌会。
53150编辑于 2023-04-04 - 来自专栏腾讯大数据的专栏
快速上手联邦学习——腾讯自研联邦学习平台PowerFL实战
本文将首先从平台框架、部署视图和网络拓扑结构等三个方面来介绍PowerFL的整体技术架构，并在此基础上介绍如何一键部署PowerFL以及如何定义联邦任务流来提交联邦任务。 产品交互：从终端用户的角度，PowerFL作为联邦学习的应用产品，既支持以REST API的形式调起联邦任务，也支持各模型参与方在联合工作区上协同工作，以拖拽算法组件的方式来构建和配置联邦任务流，并进行用户 多方联邦调度引擎：负责多方之间联邦任务的调度和同步，并提供了一套API提供了联邦任务流的创建、任务的发起、终止、暂停、删除、状态查询等接口。 联邦任务编排和调度的流程 ? 本文首先介绍了PowerFL的整体架构，包括技术栈、关键组件和网络拓扑结构，并在此基础上介绍如何一键部署PowerFL以及如何定义联邦任务流来提交联邦任务。
4.3K52发布于 2020-10-26 - 来自专栏AI科技评论
联邦学习最新研究趋势！
在2019年大火的联邦学习，最新的研究进展怎么样了？ 文 | 蒋宝尚 编 | 贾 伟 联邦学习无疑是近期 AI 界最火爆的技术范式之一，在过去的2019年，涌现了大量联邦学习相关研究。 值得注意的是，这个定义完全将联邦学习与完全去中心化的学习技术做了区分。 跨设备联邦学习设置：上图展示了联邦学习训练的生命周期，以及联邦学习系统中的多个参与者。 2 跨设备设置以外的 其他联邦学习设置和问题 在联邦学习的训练中，服务器一直在扮演着中心角色，当客户端数量非常庞大的时候，服务器可能会成为训练的瓶颈。 Cross-Silo 联邦学习：与跨设备联合学习的特征相反，Cross-Silo 联邦学习在总体设计的某些方面非常灵活。 联邦学习为公平性研究提供了几个思考，其中一些扩展了非联邦环境中先前的研究方向，另一些则是联邦学习独有的。
2.1K10发布于 2020-03-16 - 来自专栏计算机工具
联邦聚合(FedAvg、FedProx、SCAFFOLD)
联邦聚合算法对比(FedAvg、FedProx、SCAFFOLD) 论文链接： FedAvg：Communication-Efficient Learning of Deep Networks from Heterogeneous Networks SCAFFOLD: SCAFFOLD: Stochastic Controlled Averaging for Federated Learning 解决问题 联邦学习存在四个典型问题 数据是massively分布的，所以参与联邦学习的devices非常多 数据是异构的 数据分布是不均匀的 这几篇论文的重点都试图在解决上面四个问题，研究的重心是，如何在2、3、4的条件下， 提出一种communication
1.7K10编辑于 2024-12-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号