- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯云数据库(TencentDB)
PostgreSQL 支持 StarRocks 联邦查询，解锁冷热数据分离新范式
该插件支持将 StarRocks 中的海量数据表映射为 PostgreSQL 外部表，助力企业轻松构建冷热数据分层架构，实现存储成本与查询效率的最优平衡。 核心价值：无缝打通事务型与分析型数据库 通过 starrocks_fdw 插件，用户可直接在 PostgreSQL 中： ● 联邦查询：实时访问 StarRocks 中的万亿级分析数据，无需数据迁移 ● 技术亮点：三步实现异构数据融合 插件部署：分钟级接入 外部表映射：声明式数据集成 透明化查询：SQL无感知融合 典型应用场景
22910编辑于 2025-10-31 - 来自专栏马超的博客
图数据库与传统数仓实现联邦查询
•四、通过apoc.case实现布尔值的判断•五、将查询封装为函数•六、将函数运用在数据过滤查询中•七、总结 使用CYPHER实现从关系数据库过滤时间序列指标 本文中涉及的图数据模型主要是研报相关的数据 为了方便在后续的CYPHER中调用四中复杂的查询，将四中的查询封装为一个CYPHER函数。 通过一系列的查询下推拆分在一到五节中，实现了复杂查询的封装，在应用这个时序指标过滤函数时就可以方便地调用。 但是这种架构方式，启用了更多的网络查询消耗，和本地存储方式相比会多消耗一些时间资源。在实际跑模型中，可以根据实际场景优化查询。 将查询较多的属性数据存放在图库中，可以减少网络消耗；时序数据可以用JSON串保存在属性中，使用存储过程过滤。 References [1] TOC: 图数据库与传统数仓实现联邦查询
89520编辑于 2022-09-02 - 来自专栏深度学习与python
谷歌推出 Bigtable 联邦查询，实现零 ETL 数据分析
作者 | Steef-Jan Wiggers 译者 | 明知山 策划 | 丁晓昀 最近，谷歌宣布 Bigtable 联邦查询普遍可用，用户通过 BigQuery 可以更快地查询 Bigtable 此外，查询无需移动或复制所有谷歌云区域中的数据，增加了联邦查询并发性限制，从而缩小了运营数据和分析数据之间长期存在的差距。 现在，他们可以直接使用 BigQuery SQL 查询数据。联邦查询 BigQuery 可以访问存储在 Bigtable 中的数据。 大数据爱好者 Christian Laurer 在一篇文章中解释了 Bigtable 联邦查询的好处。 最后，关于 Bigtable 联邦查询的更多详细信息，请参阅官方的文档页。此外，所有受支持的 Cloud Bigtable 区域都可以使用新的联邦查询。
5.7K30编辑于 2023-03-29 - 来自专栏亨利笔记
联邦学习与云原生联邦学习平台
在近日GDG举办的“AI 隐私保护：探索跨域数据的安全流动”活动中，VMware中国研发云原生实验室资深研究员、联邦学习开源项目 FATE/KubeFATE代码维护者彭麟，分享了云原生联邦学习平台的题目 回放链接请戳 《联邦学习与云原生联邦学习平台》彭麟 人工智能的三大要素分别是算法、算力和数据，但数据的现状并不理想，存在数据孤岛、数据分布不均的问题。 为了解决数据方面的问题，有三种常见的解决方案：生成式对抗网络、迁移学习和联邦学习，此处重点讲解联邦学习。 联邦学习和传统的机器学习相比，传统的机器学习是模型不动、数据动；而联邦学习是数据不动、模型动。 联邦学习又可细分横向联邦学习与纵向联邦学习，分别用于应对两种不同的数据孤岛情况。 数据孤岛情况 1: 样例分散在不同的组织，单个组织样例不足以支持优质训练，适用使用横向联邦学习。 KubeFATE 是一个云原生联邦学习平台，具有可插拔、可扩展的特点。FATE-Operator 是 Kubeflow 官方子项目，是 Kubeflow 联邦学习方案。
1.1K60编辑于 2023-04-04 - 来自专栏机器之心
联邦学习 OR 迁移学习？No，我们需要联邦迁移学习
机器之心分析师网络 作者：仵冀颖 编辑：H4O 在这篇文章中，作者通过 4 篇论文详细介绍了联邦学习中的联邦迁移学习问题，并探讨了向经典联邦学习中引入迁移学习的目的和意义。 本文关注联邦迁移学习方法，在介绍联邦学习和迁移学习相关知识的基础上，重点探讨向经典联邦学习中引入迁移学习的目的和意义。此外，本文还将梳理目前主流的联邦迁移学习方法，并重点介绍其中的 4 篇文章。 本文提出了联邦转移学习（FTL）来解决现有联邦学习方法的局限性，利用迁移学习为联邦学习框架下的样本和特征空间提供解决方案。 具有联邦会话自适应的分层无监督训练 ? 2.4.6 本文小结 本文提出了一个新的应用于语音识别任务的联邦学习平台。 三、结束语 在这篇文章中我们重点关注了联邦学习中的联邦迁移学习问题。在回顾联邦学习、迁移学习的基础上，依托四篇文章对联邦迁移学习的基本架构、知识以及应用情况、算法等进行了讨论。
1.4K30发布于 2020-11-20 Doris Catalog 联邦分析查询性能优化：从排查到优化的完整指南
在大数据分析中，Doris 的 Catalog 联邦分析功能为整合多源数据提供了有力支持。然而，在实际应用中，可能会遇到各种问题影响其正常运行。本文将详细剖析这些问题并提供解决方案。 一、联邦分析查询慢：内外表通用排查逻辑 当遇到 Doris Catalog 联邦分析查询慢的问题时，无论操作的是内表还是外表，都可以遵循以下通用逻辑进行排查： 1. 分区策略：基于时间、地域等高频查询维度创建分区，确保分区字段类型与查询条件匹配。 六、总结 Doris Catalog 联邦分析的查询性能优化是一个系统性工程，需结合执行计划分析、外表特性、基础设施等多维度排查。 通过本文提供的通用逻辑和针对性方案，可快速定位瓶颈并实施优化，充分发挥 Doris 在多源数据联邦分析中的性能优势。
72000编辑于 2025-07-14- 来自专栏采云轩
模块联邦浅析
二.联邦模块插件的结构及其常见的调用方式（Module Federation Plugin） 上面我们大概了解了下模块联邦插件的大致使用方法。 模块联邦作为一个 webpack5 时期新出的插件，形态上看通常是一个带有 apply 方法的类。 联邦模块有两个主要概念：Host（消费其他 Remote）和 Remote（被 Host 消费）。 联邦模块是基于 webpack 做的优化，所以在深入联邦模块之前我们首先得知道 webpack 是怎么做的打包工作。 总结 通过这篇文章，我们收获了 模块联邦的基础概念。 模块联邦常用的配置项。 通过简易配置实现雏形项目开发。 模块联邦的基本原理。
2.2K20编辑于 2022-08-30 - 来自专栏Hadoop实操
0505-使用Apache Hive3实现跨数据库的联邦查询
这样做的好处是巨大的： 1.单个SQL方言和API 2.集中安全控制和审计跟踪 3.统一治理 4.能够合并来自多个数据源的数据 5.数据独立性 设置和使用Apache Hive作为联邦层可简化应用程序开发和数据访问 这不仅限于SQL系统：例如，Apache Hive也可以联邦Apache Druid或Apache Kafka进行查询，正如我们在最近的博文中所描述的，Druid可以非常高效的处理时序数据的汇总和过滤。 https://hortonworks.com/blog/benchmark-update-apache-hive-druid-integration-hdp-3-0/ 3 联邦到JDBC源端 storage handler和Calcite适配器的组合非常灵活，功能也非常强大，尤其是将Hive作为不同SQL系统的联邦层时。 HIVE-21059: https://jira.apache.org/jira/browse/HIVE-21059 5 总结 联邦功能为Hive带来了很大的灵活性，以下我们具体看看你可以使用它来干什么
1.9K21发布于 2019-11-28 - 来自专栏AI工程
联邦学习简介
谷歌于2017年提出联邦学习的训练方法，发表了相关博客链接[1]，从[1]这篇文章的标题《Federated Learning: Collaborative Machine Learning without Centralized Training Data》可以看出来谷歌对于联邦学习的基本定义是，无需通过中心化的数据，即可训练一个机器学习模型。 谷歌提出的联邦学习思想中，可以参考另一个介绍文章[2]，给出的例子是toC的训练，例子中数据保存在个人移动设备中（手机），不需要数据上传，大体的思路是： ? 谷歌提出的toC应用中，每个训练终端相当于有且只有一个用户（因为是手机嘛），但是用户特征高度重叠（例如都是搜索引擎点击记录），这种情况下被[4]称为横向联邦学习。 这种情况下被文献[4]称为纵向联邦学习。
1.6K40发布于 2020-08-10 - 来自专栏计算机工具
联邦学习-Tensorflow实现联邦模型AlexNet on CIFAR-10
分享一种实现联邦学习的方法，它具有以下优点： 不需要读写文件来保存、切换Client模型 不需要在每次epoch重新初始化Client变量 内存占用尽可能小（参数量仅翻一倍，即Client端+Server 懒得看讲解的可以直接拉到最后的完整代码章节，共有四个代码文件，运行python Server.py即可以立马体验原汁原味的（单机模拟）联邦学习。 咱没那么多显存TAT 概括一下：联邦学习的Clients，只是普通TF训练模型代码上，加上模型变量的值提取、赋值功能。 虽然它逻辑很简单，但我希望观众老爷们能注意到其中的两个联邦点：Server端代码没有接触到数据；每次参与训练的Clients数量相对于整体来说是很少的。 也反面证明了，Non-I.I.D.确实是联邦学习的一个难题。
44210编辑于 2024-12-14 - 来自专栏AI科技大本营的专栏
联邦学习，为何而生？
纵向联邦学习训练示意图 联邦学习有如下几点优势： 1. 数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求； 2. 并且越来越多的人关注到联邦学习这个新兴技术，希望系统地掌握联邦学习的原理，并在产业应用中解决具体问题。 《联邦学习技术与实战》正是在这样的背景下撰写和出版的。 领导团队研发联邦学习技术和产品、模型管理体系、监控体系等。 王虎则负责联邦组网过程中的算法研究和模型优化，在联邦学习产品化、探索实践的过程中积累了大量经验。 不仅深入浅出地讲解了具体的联邦学习算法，联邦交集计算以及联邦特征工程等理论知识，同样针对实践过程中可能遇到的通信、资源不足等问题给出了优化方案。 本书介绍了联邦学习技术的原理和实战经验，主要内容包括隐私保护、机器学习等基础知识，联邦求交、联邦特征工程算法，三种常见的联邦形式，以及工程架构、产业案例、数据资产定价等。
44110编辑于 2023-05-08 - 来自专栏博文视点Broadview
联邦学习，为何而生？
纵向联邦学习训练示意图 联邦学习有如下几点优势。 1. 数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求； 2. 并且越来越多的人关注到联邦学习这个新兴技术，希望系统地掌握联邦学习的原理，并在产业应用中解决具体问题。 《联邦学习技术与实战》正是在这样的背景下撰写和出版的。 领导团队研发联邦学习技术和产品、模型管理体系、监控体系等。 王虎则负责联邦组网过程中的算法研究和模型优化，在联邦学习产品化、探索实践的过程中积累了大量经验。 不仅深入浅出地讲解了具体的联邦学习算法，联邦交集计算以及联邦特征工程等理论知识，同样针对实践过程中可能遇到的通信、资源不足等问题给出了优化方案。 本书介绍了联邦学习技术的原理和实战经验，主要内容包括隐私保护、机器学习等基础知识，联邦求交、联邦特征工程算法，三种常见的联邦形式，以及工程架构、产业案例、数据资产定价等。
47510编辑于 2023-05-19 - 来自专栏Hadoop实操
HDFS Federation（联邦）简介
---- 1 文档编写目的 本文主要介绍HDFS Federation（联邦）相关知识，为后续文章《如何为CDH集群启用Federation（联邦）》做一个简单的铺垫。 Federation即为“联邦”，该特性允许一个HDFS集群中存在多组Namenode同时对外提供服务，分管一部分目录（水平切分），彼此之间相互隔离，但共享底层的Datanode存储资源。 2.Federation是简单鲁棒的设计，由于联邦中各个Namenode之间是相互独立的。Federation整个核心设实现大概用了3.5个月。 所有的Namenodes是联邦的，也就是说，他们之间相互独立且不需要互相协调，各自分工，管理自己的区域。
7.6K60发布于 2018-09-29 - 来自专栏亨利笔记
联邦学习新领域FedVision：视觉联邦框架与技术展望
VMware招聘联邦学习、隐私计算开发工程师 转发一则联邦学习讲座消息： 在深度学习大放异彩的AI时代，计算机视觉是AI应用的重要领域之一。而联邦学习，作为AI应用的最后一公里。 在数据安全、隐私保护备受重视的今天，联邦学习在视觉领域的探索，也在不断推进中。 微众银行联邦学习团队，近期就在GitHub（https://github.com/FederatedAI/FedVision）上开源了FedVision v0.1视觉联邦框架，这将是联邦学习的新领域。 这是首个轻量级、模型可复用、架构可扩展的视觉横向联邦开源框架，内置PaddleFL/PaddleDetection插件，支持多种常用的视觉检测模型，助力视觉联邦场景快速落地。 在实际生产环境中，助力视觉横向联邦项目进行快速落地。 想了解更多细节信息吗？ 欢迎参加本周四(1月21日）晚上7:00 在FATE开源社区中开启的2021年首期圆桌会。
53050编辑于 2023-04-04 - 来自专栏腾讯大数据的专栏
快速上手联邦学习——腾讯自研联邦学习平台PowerFL实战
算法协议：基于上述计算框架，PowerFL针对不同场景实现了常见的联邦算法协议：1）在分析场景下，PowerFL支持联合查询和两方/多方的样本对齐；2）针对建模场景，PowerFL支持联邦特征工程（包括特征选择 产品交互：从终端用户的角度，PowerFL作为联邦学习的应用产品，既支持以REST API的形式调起联邦任务，也支持各模型参与方在联合工作区上协同工作，以拖拽算法组件的方式来构建和配置联邦任务流，并进行用户 应用场景：在完善了上述联邦学习的基础设施之后，PowerFL可以在安全合规的前提下解决金融风控、广告推荐、人群画像、联合查询等多个应用场景下由于数据隔离和碎片化造成的“数据孤岛”问题，真正赋能遵守隐私规范的人工智能和大数据应用 多方联邦调度引擎：负责多方之间联邦任务的调度和同步，并提供了一套API提供了联邦任务流的创建、任务的发起、终止、暂停、删除、状态查询等接口。 联邦任务编排和调度的流程 ?
4.3K52发布于 2020-10-26 - 来自专栏腾讯大数据的专栏
助力联邦——Pulsar在Angel PowerFL联邦学习平台中的应用
联邦学习作为新一代人工智能基础技术，通过解决数据隐私与数据孤岛问题，重塑金融、医疗、城市安防等领域。 本文将介绍Pulsar在Angel PowerFL 联邦学习平台中的应用，探索MQ和联邦学习的跨界合作过程。 01 背 景 Angel PowerFL联邦学习平台及其通信模块要求 Angel PowerFL联邦学习平台构建在Angel之上，利用AngelPS支持万亿级模型训练的能力，将很多在Worker上的计算提升到 Angel PowerFL联邦学习已经在金融云、广告联合建模等业务中开始落地，并取得初步的效果。 Angel PowerFL支持多方联邦，意味着存在大于2个Pulsar集群开启了同步复制。
1.5K41发布于 2020-08-06 - 来自专栏AI科技评论
联邦学习最新研究趋势！
在2019年大火的联邦学习，最新的研究进展怎么样了？ 文 | 蒋宝尚 编 | 贾 伟 联邦学习无疑是近期 AI 界最火爆的技术范式之一，在过去的2019年，涌现了大量联邦学习相关研究。 值得注意的是，这个定义完全将联邦学习与完全去中心化的学习技术做了区分。 跨设备联邦学习设置：上图展示了联邦学习训练的生命周期，以及联邦学习系统中的多个参与者。 2 跨设备设置以外的 其他联邦学习设置和问题 在联邦学习的训练中，服务器一直在扮演着中心角色，当客户端数量非常庞大的时候，服务器可能会成为训练的瓶颈。 Cross-Silo 联邦学习：与跨设备联合学习的特征相反，Cross-Silo 联邦学习在总体设计的某些方面非常灵活。 联邦学习为公平性研究提供了几个思考，其中一些扩展了非联邦环境中先前的研究方向，另一些则是联邦学习独有的。
2.1K10发布于 2020-03-16 - 来自专栏计算机工具
联邦聚合(FedAvg、FedProx、SCAFFOLD)
联邦聚合算法对比(FedAvg、FedProx、SCAFFOLD) 论文链接： FedAvg：Communication-Efficient Learning of Deep Networks from Heterogeneous Networks SCAFFOLD: SCAFFOLD: Stochastic Controlled Averaging for Federated Learning 解决问题 联邦学习存在四个典型问题 数据是massively分布的，所以参与联邦学习的devices非常多 数据是异构的 数据分布是不均匀的 这几篇论文的重点都试图在解决上面四个问题，研究的重心是，如何在2、3、4的条件下， 提出一种communication
1.7K10编辑于 2024-12-14 - 来自专栏大大的小蜗牛
联邦宇宙及 Mastodon 简介
名词解释 # 转自：《 联邦宇宙概论》（ Web Archive） 联邦宇宙 (fediverse) # 所有联邦服务 (Federated Server) 的集合叫作联邦宇宙。 联邦协议 # 联邦宇宙中不同实例 (Instance) 间互相通信的协议 (Protocol)。 实例 (Instance) # 一个联邦服务叫作一个实例。也有人管一个实例叫一个 Pod。 任何人都可以自选联邦协议写一个全新的实例，但更流行的做法是选择一个联邦宇宙软件生成一个实例。 联邦协议举例 # 转自：《 联邦宇宙概论》（ Web Archive） 常见的联邦协议有： Zot 或 Zot/6 协议 # 给独立网站提供通信、身份 （用户） 管理、权限控制的去中心化网络连接。 联邦宇宙正生机勃勃，你觉得什么时候加入联邦宇宙是最好的时机呢？ Meta 的 Threads 为何要整合联邦宇宙 # https://www.solidot.org/story?
87410编辑于 2024-08-06 - 来自专栏KI的算法杂记
KBS 2021 | 联邦学习综述
从数据划分方面来讲，联邦学习可以分为横向联邦学习、纵向联邦学习和联邦迁移学习。 2. 联邦学习中常见的隐私保护机制有：模型聚合、同态加密和差分隐私。 3. 最后，总结了现有联邦学习的特点，并分析了当前联邦学习的实际应用。 1. 表1给出了这些类别的优点和应用： 3.1 数据划分 根据数据的样本空间和特征空间的不同分布模式，联邦学习可以分为三大类：横向联邦学习、纵向联邦学习和联邦迁移学习。 3.1.1 横向联邦学习 横向联邦学习适用于两个数据集的用户特征重叠较多而用户重叠较少的情况。 本文介绍了联邦学习的基本定义、相关技术和具体分类，然后讨论了联邦学习的实际应用场景，梳理了联邦学习目前面临的挑战和未来的研究方向。
1.1K10编辑于 2022-11-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号