- 综合排序
- 最热优先
- 最新优先
- 来自专栏小陈运维
联邦学习FATE框架安装搭建 - CentOS8
联邦学习 FATE (Federated AI Technology Enabler) 是微众银行AI部门发起的开源项目，为联邦学习生态系统提供了可靠的安全计算框架。 8.el8 extras 23 k Transaction 8.el8.x86_64 gdk-pixbuf2-2.36.12-5.el8.x86_64 libfontenc-1.1.3-8.el8.x86_64 libjpeg-turbo-1.5.3-10.el8.x86_64 系统）基于 EL8 的系统（例如 RHEL8 和 Oracle Linux 8）包含一个默认启用的 MySQL 模块。
1.4K30发布于 2021-10-13 - 来自专栏腾讯云数据库(TencentDB)
PostgreSQL 支持 StarRocks 联邦查询，解锁冷热数据分离新范式
该插件支持将 StarRocks 中的海量数据表映射为 PostgreSQL 外部表，助力企业轻松构建冷热数据分层架构，实现存储成本与查询效率的最优平衡。 核心价值：无缝打通事务型与分析型数据库 通过 starrocks_fdw 插件，用户可直接在 PostgreSQL 中： ● 联邦查询：实时访问 StarRocks 中的万亿级分析数据，无需数据迁移 ● 技术亮点：三步实现异构数据融合 插件部署：分钟级接入 外部表映射：声明式数据集成 透明化查询：SQL无感知融合 典型应用场景
23510编辑于 2025-10-31 - 来自专栏深度学习与python
谷歌推出 Bigtable 联邦查询，实现零 ETL 数据分析
作者 | Steef-Jan Wiggers 译者 | 明知山 策划 | 丁晓昀 最近，谷歌宣布 Bigtable 联邦查询普遍可用，用户通过 BigQuery 可以更快地查询 Bigtable 此外，查询无需移动或复制所有谷歌云区域中的数据，增加了联邦查询并发性限制，从而缩小了运营数据和分析数据之间长期存在的差距。 现在，他们可以直接使用 BigQuery SQL 查询数据。联邦查询 BigQuery 可以访问存储在 Bigtable 中的数据。 大数据爱好者 Christian Laurer 在一篇文章中解释了 Bigtable 联邦查询的好处。 最后，关于 Bigtable 联邦查询的更多详细信息，请参阅官方的文档页。此外，所有受支持的 Cloud Bigtable 区域都可以使用新的联邦查询。
5.7K30编辑于 2023-03-29 - 来自专栏马超的博客
图数据库与传统数仓实现联邦查询
zyyx_yanbao_code FROM ZYYX_YANBAO WHERE yanbao_hcode='HDOCec613f2d8b707b66a8edc8c1eaeb29f0 ','HDOCec613f2d8b707b66a8edc8c1eaeb29f0']) YIELD row WITH row.zyyx_yanbao_code AS zyyx_yanbao_code / ','HDOCec613f2d8b707b66a8edc8c1eaeb29f0']) YIELD row WITH row.zyyx_yanbao_code AS zyyx_yanbao_code / 为了方便在后续的CYPHER中调用四中复杂的查询，将四中的查询封装为一个CYPHER函数。 将查询较多的属性数据存放在图库中，可以减少网络消耗；时序数据可以用JSON串保存在属性中，使用存储过程过滤。 References [1] TOC: 图数据库与传统数仓实现联邦查询
89620编辑于 2022-09-02 - 来自专栏往期博文
MySQL学习8：连接查询
连接查询 三种连接方式 内连接查询 关键词：inner join … on 案例： 1.查询 对应班级的学生以及班级信息 select * from students inner join classes on students.cls_id=classes.id; 2.查询 对应班级的学生以及班级信息，按照班级进行排序 select c.name, s.* from students as s inner join classes as c on s.cls_id=c.id order by c.name 左连接查询 关键词：left join … on 案例： 1.查询 每位学生以及班级信息 select * from students left join classes on students.cls_id=classes.id; 右连接查询 关键词：right join … on 案例： 1.查询 1.查询 最高的学生信息 select * from students where height = (select max(height) from students);
1.4K20编辑于 2022-06-14 - 来自专栏亨利笔记
联邦学习与云原生联邦学习平台
在近日GDG举办的“AI 隐私保护：探索跨域数据的安全流动”活动中，VMware中国研发云原生实验室资深研究员、联邦学习开源项目 FATE/KubeFATE代码维护者彭麟，分享了云原生联邦学习平台的题目 回放链接请戳 《联邦学习与云原生联邦学习平台》彭麟 人工智能的三大要素分别是算法、算力和数据，但数据的现状并不理想，存在数据孤岛、数据分布不均的问题。 为了解决数据方面的问题，有三种常见的解决方案：生成式对抗网络、迁移学习和联邦学习，此处重点讲解联邦学习。 联邦学习和传统的机器学习相比，传统的机器学习是模型不动、数据动；而联邦学习是数据不动、模型动。 联邦学习又可细分横向联邦学习与纵向联邦学习，分别用于应对两种不同的数据孤岛情况。 数据孤岛情况 1: 样例分散在不同的组织，单个组织样例不足以支持优质训练，适用使用横向联邦学习。 KubeFATE 是一个云原生联邦学习平台，具有可插拔、可扩展的特点。FATE-Operator 是 Kubeflow 官方子项目，是 Kubeflow 联邦学习方案。
1.1K60编辑于 2023-04-04 - 来自专栏AustinDatabases
MYSQL 中的查询技巧 与 MYSQL 8 并行查询
这就直接抛出一个问题，就是MYSQL的查询技巧还重要吗？当然如果你还要用MYSQL 来进行数据库的提取和查询，那就必须重视MYSQL的查询技巧。 ，尽量避免子查询。 or 的时候index merge 对数据查询的帮助是很大的 实际当中，（SSD 硬盘 440行数据的 fetch 不开启 0.195秒相当于全表扫描，开启0.001秒） mysql 8 是默认开启的。 最后，我们看看MYSQL 8.0的并行查询，并行查询，其实在 PG, SQL SERVER , ORACLE 中都有，但形式不同，MYSQL 8 之前是没有并行查询这个概念的，MYSQL 8 引入了并行查询 ，我们看看到底并行查询，对查询有什么帮助。
9.4K60发布于 2019-06-24 - 来自专栏侯哥的Python分享
Mysql基础8-多表查询
1 | 3 | | 7 | 咔咔 | 25 | 出纳 | 8000 | 2021-07-10 | 6 | 3 | | 8 1 | NULL | +----+--------+------+--------------+--------+------------+-----------+---------+ 8 财务部 | | 7 | 咔咔 | 29 | 出纳 | 8000 | 2021-07-10 | 6 | 3 | 财务部 | | 8 | +----+--------+------+--------------+--------+------------+-----------+---------+-----------+ 8 | 芳芳 | 李四 | | 珊珊 | 问问 | | 娜娜 | 张三 | | 咔咔 | 娜娜 | | 静静 | 张三 | +--------+--------+ 8
59850编辑于 2023-07-24 - 来自专栏机器之心
联邦学习 OR 迁移学习？No，我们需要联邦迁移学习
机器之心分析师网络 作者：仵冀颖 编辑：H4O 在这篇文章中，作者通过 4 篇论文详细介绍了联邦学习中的联邦迁移学习问题，并探讨了向经典联邦学习中引入迁移学习的目的和意义。 作者使用 Google 云的虚拟实例进行验证，所使用的数据集是乳腺癌数据库[8]，它包含 569 个样本和 32 个特征。 图 8 给出了具体实验结果。当各个参与方位于世界各地时，在同质和异构模型中，通过因特网进行数据传输的时间分别占总完成时间的 34%（324s 中的 117s）和 33%（239s 中的 79s）。 图 8. 在不同的地理位置设置参与方以模拟真实场景。不同的地理距离导致了带宽的变化。结果表明，随着带宽的下降，数据传输起着更重要的作用。 IEEE TKDE, 22(10):1345–1359. [8] H William.
1.5K30发布于 2020-11-20 Doris Catalog 联邦分析查询性能优化：从排查到优化的完整指南
在大数据分析中，Doris 的 Catalog 联邦分析功能为整合多源数据提供了有力支持。然而，在实际应用中，可能会遇到各种问题影响其正常运行。本文将详细剖析这些问题并提供解决方案。 一、联邦分析查询慢：内外表通用排查逻辑 当遇到 Doris Catalog 联邦分析查询慢的问题时，无论操作的是内表还是外表，都可以遵循以下通用逻辑进行排查： 1. 分区策略：基于时间、地域等高频查询维度创建分区，确保分区字段类型与查询条件匹配。 六、总结 Doris Catalog 联邦分析的查询性能优化是一个系统性工程，需结合执行计划分析、外表特性、基础设施等多维度排查。 通过本文提供的通用逻辑和针对性方案，可快速定位瓶颈并实施优化，充分发挥 Doris 在多源数据联邦分析中的性能优势。
75700编辑于 2025-07-14- 来自专栏亨利笔记
联邦学习KubeFATE开源项目的K8s和Ingress详解
企业中使用 Kubernetes 构建云原生联邦学习平台是最佳的选择，本文详细解析了 KubeFATE 的技术要点。 一、文章背景 企业级联邦学习开源项目 KubeFATE 最新版本v1.8.0有一个新功能，可以让用户指定 Ingress 类，切换不同的 Ingress 控制器。 而国内云提供商也都可以直接创建Kubernetes，然后使用KubeFATE把FATE部署上去测试使用，譬如: 阿里云的ACK 腾讯云的TKE 华为云的CCE UCloud的UK8S 还有很多，就不一一列举了 我们的愿景是可以提供统一的工具让FATE运行在any cloud, any device上， 而联邦学习的优势又可以让不同的FATE互联互通，创作价值。 /kubefate-k8s-{release_version}.tar.gz $ cd kubefate && chmod +x ./kubefate && sudo mv .
1.2K10编辑于 2022-09-03 - 来自专栏采云轩
模块联邦浅析
二.联邦模块插件的结构及其常见的调用方式（Module Federation Plugin） 上面我们大概了解了下模块联邦插件的大致使用方法。 模块联邦作为一个 webpack5 时期新出的插件，形态上看通常是一个带有 apply 方法的类。 联邦模块有两个主要概念：Host（消费其他 Remote）和 Remote（被 Host 消费）。 联邦模块是基于 webpack 做的优化，所以在深入联邦模块之前我们首先得知道 webpack 是怎么做的打包工作。 总结 通过这篇文章，我们收获了 模块联邦的基础概念。 模块联邦常用的配置项。 通过简易配置实现雏形项目开发。 模块联邦的基本原理。
2.2K20编辑于 2022-08-30 - 来自专栏Hadoop实操
0505-使用Apache Hive3实现跨数据库的联邦查询
这样做的好处是巨大的： 1.单个SQL方言和API 2.集中安全控制和审计跟踪 3.统一治理 4.能够合并来自多个数据源的数据 5.数据独立性 设置和使用Apache Hive作为联邦层可简化应用程序开发和数据访问 这不仅限于SQL系统：例如，Apache Hive也可以联邦Apache Druid或Apache Kafka进行查询，正如我们在最近的博文中所描述的，Druid可以非常高效的处理时序数据的汇总和过滤。 https://hortonworks.com/blog/benchmark-update-apache-hive-druid-integration-hdp-3-0/ 3 联邦到JDBC源端 storage handler和Calcite适配器的组合非常灵活，功能也非常强大，尤其是将Hive作为不同SQL系统的联邦层时。 HIVE-21059: https://jira.apache.org/jira/browse/HIVE-21059 5 总结 联邦功能为Hive带来了很大的灵活性，以下我们具体看看你可以使用它来干什么
1.9K21发布于 2019-11-28 - 来自专栏AI工程
联邦学习简介
Centralized Training Data》可以看出来谷歌对于联邦学习的基本定义是，无需通过中心化的数据，即可训练一个机器学习模型。 谷歌提出的联邦学习思想中，可以参考另一个介绍文章[2]，给出的例子是toC的训练，例子中数据保存在个人移动设备中（手机），不需要数据上传，大体的思路是： ? 谷歌提出的toC应用中，每个训练终端相当于有且只有一个用户（因为是手机嘛），但是用户特征高度重叠（例如都是搜索引擎点击记录），这种情况下被[4]称为横向联邦学习。 这种情况下被文献[4]称为纵向联邦学习。 ://www.fedai.org/ [4] https://aisp-1251170195.cos.ap-hongkong.myqcloud.com/wp-content/uploads/pdf/%E8%
1.6K40发布于 2020-08-10 - 来自专栏计算机工具
联邦学习-Tensorflow实现联邦模型AlexNet on CIFAR-10
懒得看讲解的可以直接拉到最后的完整代码章节，共有四个代码文件，运行python Server.py即可以立马体验原汁原味的（单机模拟）联邦学习。 咱没那么多显存TAT 概括一下：联邦学习的Clients，只是普通TF训练模型代码上，加上模型变量的值提取、赋值功能。 也反面证明了，Non-I.I.D.确实是联邦学习的一个难题。 = fc_layer(dropout6, 1024, 2048, name='fc7') dropout7 = dropout(fc7, DROP_RATE) # 8th return unscaled activations logits = fc_layer(dropout7, 2048, num_classes, relu=False, name='fc8'
45510编辑于 2024-12-14 - 来自专栏数据科学（冷冻工厂）
Python 异步: 使用和查询任务（8）
异步任务具有生命周期。首先，任务是从协程创建的。然后安排在事件循环中独立执行。在某个时候，它会运行。
1.4K50编辑于 2023-02-27 - 来自专栏数据科学（冷冻工厂）
Python 异步: 使用和查询任务（8）
异步任务具有生命周期。首先，任务是从协程创建的。然后安排在事件循环中独立执行。在某个时候，它会运行。
1.6K01编辑于 2023-02-09 - 来自专栏AI科技大本营的专栏
联邦学习，为何而生？
纵向联邦学习训练示意图 联邦学习有如下几点优势： 1. 数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求； 2. 并且越来越多的人关注到联邦学习这个新兴技术，希望系统地掌握联邦学习的原理，并在产业应用中解决具体问题。 《联邦学习技术与实战》正是在这样的背景下撰写和出版的。 领导团队研发联邦学习技术和产品、模型管理体系、监控体系等。 王虎则负责联邦组网过程中的算法研究和模型优化，在联邦学习产品化、探索实践的过程中积累了大量经验。 不仅深入浅出地讲解了具体的联邦学习算法，联邦交集计算以及联邦特征工程等理论知识，同样针对实践过程中可能遇到的通信、资源不足等问题给出了优化方案。 本书介绍了联邦学习技术的原理和实战经验，主要内容包括隐私保护、机器学习等基础知识，联邦求交、联邦特征工程算法，三种常见的联邦形式，以及工程架构、产业案例、数据资产定价等。
45010编辑于 2023-05-08 - 来自专栏博文视点Broadview
联邦学习，为何而生？
纵向联邦学习训练示意图 联邦学习有如下几点优势。 1. 数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求； 2. 并且越来越多的人关注到联邦学习这个新兴技术，希望系统地掌握联邦学习的原理，并在产业应用中解决具体问题。 《联邦学习技术与实战》正是在这样的背景下撰写和出版的。 领导团队研发联邦学习技术和产品、模型管理体系、监控体系等。 王虎则负责联邦组网过程中的算法研究和模型优化，在联邦学习产品化、探索实践的过程中积累了大量经验。 不仅深入浅出地讲解了具体的联邦学习算法，联邦交集计算以及联邦特征工程等理论知识，同样针对实践过程中可能遇到的通信、资源不足等问题给出了优化方案。 本书介绍了联邦学习技术的原理和实战经验，主要内容包括隐私保护、机器学习等基础知识，联邦求交、联邦特征工程算法，三种常见的联邦形式，以及工程架构、产业案例、数据资产定价等。
48410编辑于 2023-05-19 - 来自专栏亨利笔记
用KubeFATE在K8s上部署联邦学习FATE v1.5
题图摄于北京长安街 （本文作者系 VMware 中国研发云原生实验室架构师，联邦学习 KubeFATE / FATE-Operator 开源项目维护者。） 目标 本文我们会介绍如何在一台 Linux 的机器上通过安装 MiniKube，然后使用 KubeFATE 部署一个两方的联邦学习集群，并在上面跑一个测试的联邦学习训练任务。 我们可以通过kubefate cluster describe查询集群的具体访问信息， layne@machine:~/demo$ kubefate cluster describe 51476469- 我们可以通过FATEBoard 来查询当前训练的状态。 下一步 Toy_Example 是非常简单的 FATE 联邦学习例子。我们可以在 Notebook 的目录上找到更多其他的联邦学习算法。
1.4K10发布于 2021-01-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号