- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯云数据库(TencentDB)
PostgreSQL 支持 StarRocks 联邦查询，解锁冷热数据分离新范式
该插件支持将 StarRocks 中的海量数据表映射为 PostgreSQL 外部表，助力企业轻松构建冷热数据分层架构，实现存储成本与查询效率的最优平衡。 核心价值：无缝打通事务型与分析型数据库 通过 starrocks_fdw 插件，用户可直接在 PostgreSQL 中： ● 联邦查询：实时访问 StarRocks 中的万亿级分析数据，无需数据迁移 ● 技术亮点：三步实现异构数据融合 插件部署：分钟级接入 外部表映射：声明式数据集成 透明化查询：SQL无感知融合 典型应用场景
23510编辑于 2025-10-31 - 来自专栏深度学习与python
谷歌推出 Bigtable 联邦查询，实现零 ETL 数据分析
作者 | Steef-Jan Wiggers 译者 | 明知山 策划 | 丁晓昀 最近，谷歌宣布 Bigtable 联邦查询普遍可用，用户通过 BigQuery 可以更快地查询 Bigtable 此外，查询无需移动或复制所有谷歌云区域中的数据，增加了联邦查询并发性限制，从而缩小了运营数据和分析数据之间长期存在的差距。 现在，他们可以直接使用 BigQuery SQL 查询数据。联邦查询 BigQuery 可以访问存储在 Bigtable 中的数据。 大数据爱好者 Christian Laurer 在一篇文章中解释了 Bigtable 联邦查询的好处。 最后，关于 Bigtable 联邦查询的更多详细信息，请参阅官方的文档页。此外，所有受支持的 Cloud Bigtable 区域都可以使用新的联邦查询。
5.7K30编辑于 2023-03-29 - 来自专栏马超的博客
图数据库与传统数仓实现联邦查询
UNION SELECT -1 AS ZYYX_YANBAO) AS a ORDER BY zyyx_yanbao_code ASC LIMIT 2', ['HDOCec613f2d8b707b66a8edc8c1eaeb29f0 UNION SELECT -1 AS ZYYX_YANBAO) AS a ORDER BY zyyx_yanbao_code ASC LIMIT 2', ['HDOCec613f2d8b707b66a8edc8c1eaeb29f0 为了方便在后续的CYPHER中调用四中复杂的查询，将四中的查询封装为一个CYPHER函数。 通过一系列的查询下推拆分在一到五节中，实现了复杂查询的封装，在应用这个时序指标过滤函数时就可以方便地调用。 将查询较多的属性数据存放在图库中，可以减少网络消耗；时序数据可以用JSON串保存在属性中，使用存储过程过滤。 References [1] TOC: 图数据库与传统数仓实现联邦查询
89620编辑于 2022-09-02 - 来自专栏java学习java
子查询(2)
相关子查询 相关子查询执行流程 如果子查询的执行依赖于外部查询，通常情况下都是因为子查询中的表用到了外部的表，并进行了条件关联，因此每执行一次外部查询，子查询都要重新计算一次，这样的子查询就称之为 关联子查询 相关子查询按照一行接一行的顺序执行，主查询的每一行都执行一次子查询。 employees e1,(SELECT department_id,AVG(salary) dept_avg_sal FROM employees GROUP BY department_id) e2 `department_id` = e2.department_id AND e2.dept_avg_sal < e1. FROM employees e1 WHERE EXISTS ( SELECT * FROM employees e2 WHERE e2.manager_id = e1.employee_id); 子查询实际上是通过未知表进行查询后的条件判断
1.3K20编辑于 2022-11-13 - 来自专栏亨利笔记
联邦学习与云原生联邦学习平台
在近日GDG举办的“AI 隐私保护：探索跨域数据的安全流动”活动中，VMware中国研发云原生实验室资深研究员、联邦学习开源项目 FATE/KubeFATE代码维护者彭麟，分享了云原生联邦学习平台的题目 回放链接请戳 《联邦学习与云原生联邦学习平台》彭麟 人工智能的三大要素分别是算法、算力和数据，但数据的现状并不理想，存在数据孤岛、数据分布不均的问题。 为了解决数据方面的问题，有三种常见的解决方案：生成式对抗网络、迁移学习和联邦学习，此处重点讲解联邦学习。 联邦学习和传统的机器学习相比，传统的机器学习是模型不动、数据动；而联邦学习是数据不动、模型动。 联邦学习又可细分横向联邦学习与纵向联邦学习，分别用于应对两种不同的数据孤岛情况。 数据孤岛情况 1: 样例分散在不同的组织，单个组织样例不足以支持优质训练，适用使用横向联邦学习。 数据孤岛情况 2: 样本数据的特征分散在不同组织，单个组织有样本片面的理解，造成训练结果偏差，适合使用纵向联邦学习。
1.1K60编辑于 2023-04-04 - 来自专栏机器之心
联邦学习 OR 迁移学习？No，我们需要联邦迁移学习
图 2. 不同迁移学习方法。 1.3、联邦迁移学习（FTL） FTL 的目的是在保护隐私的前提下，利用迁移学习克服数据或标签的不足的问题。 在其他因素不变的情况下，通信成本可以简化为 O(d^2)。 2.1.3 本文小结 本文提出了一个安全的联邦迁移学习（FTL）框架，引入了同态加密和密文共享两种保护隐私的安全方法。 定理 2. （联邦域自适应的加权误差界）。设 H 是一个 VC 维的假设类，且有： ? (Dt)^ 是由联邦学习系统中每个源域和目标域的 m 大小的样本分别导出的经验分布。 （2） 其中， 公式（2）中的界限是从公式（1）扩展而来的，如果只有一个源域存在（N=1），它们是等价的。公式 (2) 中的误差范围涉及多个假设。 （2） 模式 I 和模式 II 的结果证明了动态注意力机制和对抗性对齐处理的有效性。（3） 与多源域适应相比，联邦域适应显示出的结果要弱得多，这表明 UFDA 非常具有挑战性。 表 1.
1.5K30发布于 2020-11-20 Doris Catalog 联邦分析查询性能优化：从排查到优化的完整指南
一、联邦分析查询慢：内外表通用排查逻辑 当遇到 Doris Catalog 联邦分析查询慢的问题时，无论操作的是内表还是外表，都可以遵循以下通用逻辑进行排查： 1. 2. Hive/Iceberg 外表：分区与文件管理 分区裁剪优化 确保分区字段类型与查询条件一致（如日期字段存储为DATE而非STRING），避免隐式转换导致裁剪失败。 2. 查询层优化 下推逻辑：对 JDBC 外表使用 SQL 透传，将复杂逻辑推至源端；对 Hive/Iceberg 外表确保谓词下推和分区裁剪生效。 六、总结 Doris Catalog 联邦分析的查询性能优化是一个系统性工程，需结合执行计划分析、外表特性、基础设施等多维度排查。 通过本文提供的通用逻辑和针对性方案，可快速定位瓶颈并实施优化，充分发挥 Doris 在多源数据联邦分析中的性能优势。
75700编辑于 2025-07-14- 来自专栏采云轩
模块联邦浅析
大致的原型图如下: 我们看到，project1 的 home 页的 specialItem，project2 的 about 页的 searchItem 组件被用于 project2 的 home 中 ， project2 的 about 直接用的 project1 的 about 页。 二.联邦模块插件的结构及其常见的调用方式（Module Federation Plugin） 上面我们大概了解了下模块联邦插件的大致使用方法。 联邦模块是基于 webpack 做的优化，所以在深入联邦模块之前我们首先得知道 webpack 是怎么做的打包工作。 总结 通过这篇文章，我们收获了 模块联邦的基础概念。 模块联邦常用的配置项。 通过简易配置实现雏形项目开发。 模块联邦的基本原理。
2.2K20编辑于 2022-08-30 - 来自专栏Hadoop实操
0505-使用Apache Hive3实现跨数据库的联邦查询
这样做的好处是巨大的： 1.单个SQL方言和API 2.集中安全控制和审计跟踪 3.统一治理 4.能够合并来自多个数据源的数据 5.数据独立性 设置和使用Apache Hive作为联邦层可简化应用程序开发和数据访问 2 基于成本优化的智能下推 假设你要执行一个Hive查询，该查询通过JDBC连接到后端的RDBMS访问数据。 这不仅限于SQL系统：例如，Apache Hive也可以联邦Apache Druid或Apache Kafka进行查询，正如我们在最近的博文中所描述的，Druid可以非常高效的处理时序数据的汇总和过滤。 handler和Calcite适配器的组合非常灵活，功能也非常强大，尤其是将Hive作为不同SQL系统的联邦层时。 2.Transform & write-back: 使用该功能，你可以使用Hive SQL转换保存在Hive之外的数据。例如，你可以使用Hive查询Kafka，转换数据，然后将其回写到Kafka。
1.9K21发布于 2019-11-28 - 来自专栏AI工程
联邦学习简介
Centralized Training Data》可以看出来谷歌对于联邦学习的基本定义是，无需通过中心化的数据，即可训练一个机器学习模型。 谷歌提出的联邦学习思想中，可以参考另一个介绍文章[2]，给出的例子是toC的训练，例子中数据保存在个人移动设备中（手机），不需要数据上传，大体的思路是： ? 将当前的模型参数传输到A A设备中根据数据，计算模型参数（或梯度等） A设备将更新后的模型参数（或梯度）上传 B对来自不同设备的模型参数（或梯度）聚合，例如简单取平均值 C更新根据B聚合后的结果，更新模型 回到第2. 这种情况下被文献[4]称为纵向联邦学习。 Reference [1] https://ai.googleblog.com/2017/04/federated-learning-collaborative.html [2] https://blog.tensorflow.org
1.6K40发布于 2020-08-10 - 来自专栏计算机工具
联邦学习-Tensorflow实现联邦模型AlexNet on CIFAR-10
懒得看讲解的可以直接拉到最后的完整代码章节，共有四个代码文件，运行python Server.py即可以立马体验原汁原味的（单机模拟）联邦学习。 咱没那么多显存TAT 概括一下：联邦学习的Clients，只是普通TF训练模型代码上，加上模型变量的值提取、赋值功能。 虽然它逻辑很简单，但我希望观众老爷们能注意到其中的两个联邦点：Server端代码没有接触到数据；每次参与训练的Clients数量相对于整体来说是很少的。 也反面证明了，Non-I.I.D.确实是联邦学习的一个难题。 lrn(conv2, 2, 2e-05, 0.75, name='norm2') pool2 = max_pool(norm2, 3, 3, 2, 2, padding='VALID
45510编辑于 2024-12-14 - 来自专栏PostgreSQL研究与原理解析
PG中的查询：2.统计--（2）
Filter: ((seat_no)::text > '30C'::text) (2 rows)截止座位号专门选择在两个桶之间的边缘。此条件的选择性是N/桶数。 这允许查询非第一范式中的列时进行更准确的计划。 1) 数组most_common_elems和most_common_elem_freqs 包含最常见的元素及其频率。 rows) 要使统计信息起作用，统计信息生成命令中的表达式必须与原始查询中表达式相同。 列之间的功能依赖关系 当一列中的值（完全或部分）由另一列中的值确定时，并且在查询中存在引用两列的条件，则结果基数将被低估。 => 5": 1.000000, "5 => 2": 0.010567} (1 row) 数字2和5是表pg_attribute中的列号。
96310编辑于 2022-03-29 - 来自专栏AI科技大本营的专栏
联邦学习，为何而生？
2. 利用难，由于数据来源于不同的企业和组织，很可能在数据格式方面不统一，那么在融合时就会出现问题。 3. 传输难，即使可以交给对方或可信任的第三方，难以保证各方的传输速度及成本。 4. 纵向联邦学习训练示意图 联邦学习有如下几点优势： 1. 数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求； 2. 领导团队研发联邦学习技术和产品、模型管理体系、监控体系等。 王虎则负责联邦组网过程中的算法研究和模型优化，在联邦学习产品化、探索实践的过程中积累了大量经验。 不仅深入浅出地讲解了具体的联邦学习算法，联邦交集计算以及联邦特征工程等理论知识，同样针对实践过程中可能遇到的通信、资源不足等问题给出了优化方案。 本书介绍了联邦学习技术的原理和实战经验，主要内容包括隐私保护、机器学习等基础知识，联邦求交、联邦特征工程算法，三种常见的联邦形式，以及工程架构、产业案例、数据资产定价等。
45010编辑于 2023-05-08 - 来自专栏云计算行业
官方推荐 | 《2分钟带你认识 T-Sec 联邦学习》
关注腾讯云大学，了解最新行业技术动态 戳【阅读原文】查看55个腾讯云产品全集 课程概述 联邦学习（Federated Learning，FELE）是一种打破数据孤岛、释放 AI 应用潜能的分布式机器学习技术 ，能够让联邦学习各参与方在不披露底层数据和底层数据加密(混淆)形态的前提下，通过交换加密的机器学习中间结果实现联合建模。 【课程目标】 了解腾讯云联邦学习的特性 了解腾讯云联邦学习的应用场景 【课程大纲】 知识模块 简介 T-Sec 联邦学习 企业如何应用联邦学习打破“数据孤岛”，助力业务创新创效
27920编辑于 2023-05-29 - 来自专栏博文视点Broadview
联邦学习，为何而生？
2. 利用难，由于数据来源于不同的企业和组织，很可能在数据格式方面不统一，那么在融合时就会出现问题。 3. 传输难，即使可以交给对方或可信任的第三方，难以保证各方的传输速度及成本。 4. 纵向联邦学习训练示意图 联邦学习有如下几点优势。 1. 数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求； 2. 领导团队研发联邦学习技术和产品、模型管理体系、监控体系等。 王虎则负责联邦组网过程中的算法研究和模型优化，在联邦学习产品化、探索实践的过程中积累了大量经验。 不仅深入浅出地讲解了具体的联邦学习算法，联邦交集计算以及联邦特征工程等理论知识，同样针对实践过程中可能遇到的通信、资源不足等问题给出了优化方案。 本书介绍了联邦学习技术的原理和实战经验，主要内容包括隐私保护、机器学习等基础知识，联邦求交、联邦特征工程算法，三种常见的联邦形式，以及工程架构、产业案例、数据资产定价等。
48410编辑于 2023-05-19 - 来自专栏ByConity
StarRocks 物化视图2 - 查询优化
测试发现在通过物化视图透明改写查询后，多表 Join 的查询性能可以达到与查询相应大宽表相同的性能水平。 Collectors.toSet()); if (extraTables.isEmpty()) { return true; } // 2. v3.1+2 物化成功率-- 物化视图成功优化 StarRocks支持将物化视图刷新任务的部分中间结果落盘ALTER MATERIALIZED VIEW mv2 SET ('session.enable_spill ALTER MATERIALIZED VIEW mv2 SET ( 'session.query_timeout' = '4000' );3 分区级物化T+1T+1更新：当被关联基表的某个分区中的数据发生变化时 + mv cache-(200)ms在复杂查询情况下，一个查询改写过程有时候时非常复杂的1 我们可以直接查询物化视图表2 我们可以物化查询SQL命中的物化情况Other特性描述支持版本排序键支持使用
48610编辑于 2025-09-15 - 来自专栏多线程
MyBatis查询数据库（2）
❤️❤️❤️ Spring + Spring MVC + MyBatis专栏 上篇我们写了一个简单的根据id进行查询，知道了如何去进行查询，下面来仔细讲讲增删改查操作。 Userinfo userinfo=userMapper.getUserById(1); System.out.println(userinfo); //判断1是否等于2 2、增、删、改操作 与查询操作都是一样的，只是使用的标签不一样： insert标签:插入语句 update标签:修改语句 delete标签:删除语句 Ⅰ、增 添加用户 ①、在接口（UserMapper） ④、controller 实现代码： @RequestMapping(value = "/add2", method = RequestMethod.POST) public Integer add2(@RequestBody Userinfo user) { userService.addGetid(user); return user.getId();
36430编辑于 2023-10-16 - 来自专栏程序员的时光
MySQL系列（2）——聚合函数查询
一、聚合函数查询 1.COUNT()函数——用来统计记录的条数； 例如查询grade表中有几条数据： 先看grade表中所有的数据：select * from grade; ? 总共9条数据，as total是给count(*)取别名； 2.SUM()函数——是求和函数，计算一列值的总和（此列必须是数值型数据）； 例如查询grade表中张三的总分： select stuName 二、GROUP BY分组查询 group by 常常与聚合函数一起使用 1.与COUNT(*)函数一起使用 例如：查询grade表中的记录条数，并按照姓名分组： select stuName,count 2.与SUM()函数一起使用 例如：查询表中每个学生的总分： select stuName,sum(score) from grade group by stuName; ? 2.与GROUP_CONCAT一起使用（对查询结果进行汇总，全部展示出来） 例如先查看表t_student：select * from t_student; ?
2K30发布于 2020-07-14 - 来自专栏Java 汇总
2.Mysql 查询优化器
PRIMARY KEY (column1,column2) 定义表的主键 查询语句：FROM Table0 ... WHERE column1=5 AND column2=7 ... 然后MySQL将把这个值“插入”到查询中。 如果检索到unique_not_null_column=5的行，则查询语句转换为： SELECT 5, Table2.any_column FROM Table1, Table2 ---- 查询计划 QEP 每个计划（或计划的一部分）都分配了成本cost。计划的成本大致反映了根据计划计算查询所需的资源，其中主要因素是计算查询时将要访问的行数。 由查询中的一些表组成的查询计划称为 部分计划 。优化器倾向于：向部分计划中添加的表越多，其成本就越高。 查询计划代码在： sql/sql_select.cc, find_best().
1.2K21发布于 2020-10-29 - 来自专栏Hadoop实操
HDFS Federation（联邦）简介
---- 1 文档编写目的 本文主要介绍HDFS Federation（联邦）相关知识，为后续文章《如何为CDH集群启用Federation（联邦）》做一个简单的铺垫。 Federation即为“联邦”，该特性允许一个HDFS集群中存在多组Namenode同时对外提供服务，分管一部分目录（水平切分），彼此之间相互隔离，但共享底层的Datanode存储资源。 2.Federation是简单鲁棒的设计，由于联邦中各个Namenode之间是相互独立的。Federation整个核心设实现大概用了3.5个月。 所有的Namenodes是联邦的，也就是说，他们之间相互独立且不需要互相协调，各自分工，管理自己的区域。 user，这个路径可以是任意Scheme的HDFS路径，这样对于viewfs://ns/user实际上会被转换为对hdfs://ns2/user的操作。
7.6K60发布于 2018-09-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号