首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏腾讯云数据库(TencentDB)

    PostgreSQL 支持 StarRocks 联邦查询,解锁冷热数据分离新范式

    该插件支持将 StarRocks 中的海量数据表映射为 PostgreSQL 外部表,助力企业轻松构建冷热数据分层架构,实现存储成本与查询效率的最优平衡。 核心价值:无缝打通事务型与分析型数据库 通过 starrocks_fdw 插件,用户可直接在 PostgreSQL 中: ● 联邦查询:实时访问 StarRocks 中的万亿级分析数据,无需数据迁移 ● 技术亮点:三步实现异构数据融合 插件部署:分钟级接入 外部表映射:声明式数据集成 透明化查询:SQL无感知融合 典型应用场景

    23510编辑于 2025-10-31
  • 来自专栏小雨的CSDN

    9.MySQL高阶查询方法——聚合查询 联合(多表)查询

    聚合查询 一般需要搭配MySQL中的一些内置“函数” 1)count:用来计算结果的行数 <mysql> select name,decription from user; +--------+---- 联合/多表查询 实现联合查询的基本机制:笛卡尔积 图片 多表查询的过程就是先计算两张表的笛卡尔积,再根据一些条件对笛卡尔积中的记录进行筛选 如果针对两个比较大的表进行联合查询,笛卡尔积的计算开销会很大 ,最终的查找效率也比较低,在生产环境中,不应该对达标进行联合查询。 ,course where student.id = score.student_id and course.id = score.course_id; 2)自连接 自连接是指在同一张表连接自身进行查询 相当于把多个表查询的结果集合合并成一个集合(需要保证多个结果集之间的字段和数目都得一致) a)查询id<3或者是英文课程 方法一: 方法二:

    2.1K40编辑于 2022-10-26
  • 来自专栏深度学习与python

    谷歌推出 Bigtable 联邦查询,实现零 ETL 数据分析

    作者 | Steef-Jan Wiggers 译者 | 明知山 策划 | 丁晓昀 最近,谷歌宣布 Bigtable 联邦查询普遍可用,用户通过 BigQuery 可以更快地查询 Bigtable 此外,查询无需移动或复制所有谷歌云区域中的数据,增加了联邦查询并发性限制,从而缩小了运营数据和分析数据之间长期存在的差距。 现在,他们可以直接使用 BigQuery SQL 查询数据。联邦查询 BigQuery 可以访问存储在 Bigtable 中的数据。 大数据爱好者 Christian Laurer 在一篇文章中解释了 Bigtable 联邦查询的好处。 最后,关于 Bigtable 联邦查询的更多详细信息,请参阅官方的文档页。此外,所有受支持的 Cloud Bigtable 区域都可以使用新的联邦查询

    5.7K30编辑于 2023-03-29
  • 来自专栏马超的博客

    图数据库与传统数仓实现联邦查询

    •四、通过apoc.case实现布尔值的判断•五、将查询封装为函数•六、将函数运用在数据过滤查询中•七、总结 使用CYPHER实现从关系数据库过滤时间序列指标 本文中涉及的图数据模型主要是研报相关的数据 为了方便在后续的CYPHER中调用四中复杂的查询,将四中的查询封装为一个CYPHER函数。 通过一系列的查询下推拆分在一到五节中,实现了复杂查询的封装,在应用这个时序指标过滤函数时就可以方便地调用。 但是这种架构方式,启用了更多的网络查询消耗,和本地存储方式相比会多消耗一些时间资源。在实际跑模型中,可以根据实际场景优化查询。 将查询较多的属性数据存放在图库中,可以减少网络消耗;时序数据可以用JSON串保存在属性中,使用存储过程过滤。 References [1] TOC: 图数据库与传统数仓实现联邦查询

    89620编辑于 2022-09-02
  • 来自专栏写代码和思考

    MyBatis 学习笔记(9) 分页查询

    背景 在 mybatis 中经常用到分页查询,本文介绍下使用 PageHelper 进行分页查询。 2.知识 MyBatis 分页插件 - PageHelper。 SELECT * FROM city ") List<City> selectByPage1(); List<City> selectByPage2(); } 调用时,像平时一样写 查询语句 ,具体在调用前先 “启动开发分页” PageHelper.startPage(1, 5); 剩下的就交给插件来做了,它会自动的帮忙调整查询的sql语句,返回结果。 page = %s", page); } } 我的代码示例见: https://github.com/vir56k/java_demo/tree/master/mybatisdemo9_

    49230发布于 2021-07-08
  • 来自专栏信息技术智库

    9.MySQL数据查询SQL

    9.MySQL数据查询SQL 语法格式: select 字段列表|* from 表名 [where 搜索条件] [group by 分组字段 [having 分组条件]] [order by 排序字段  +---------+ -- 统计 users 表中的数据量 select count(*) from users; +----------+ | count(*) | +----------+ | 9  | +----------+ select count(id) from users; +-----------+ | count(id) | +-----------+ | 9 | +-------- 王五六 | 23 | 890 | NULL | NULL | NULL | +------+-----------+------+--------+-----------+------+------+ 9  rows in set (0.00 sec) -- 如果按照sex这一列进行统计,结果就是8个而不是9个,因为sex这一列中有NULL值存在 mysql> select count(sex) from 

    1.3K30编辑于 2022-07-29
  • 来自专栏亨利笔记

    联邦学习与云原生联邦学习平台

    在近日GDG举办的“AI 隐私保护:探索跨域数据的安全流动”活动中,VMware中国研发云原生实验室资深研究员、联邦学习开源项目 FATE/KubeFATE代码维护者彭麟,分享了云原生联邦学习平台的题目 回放链接请戳 《联邦学习与云原生联邦学习平台》彭麟 人工智能的三大要素分别是算法、算力和数据,但数据的现状并不理想,存在数据孤岛、数据分布不均的问题。 为了解决数据方面的问题,有三种常见的解决方案:生成式对抗网络、迁移学习和联邦学习,此处重点讲解联邦学习。 联邦学习和传统的机器学习相比,传统的机器学习是模型不动、数据动;而联邦学习是数据不动、模型动。 联邦学习又可细分横向联邦学习与纵向联邦学习,分别用于应对两种不同的数据孤岛情况。 数据孤岛情况 1: 样例分散在不同的组织,单个组织样例不足以支持优质训练,适用使用横向联邦学习。 KubeFATE 是一个云原生联邦学习平台,具有可插拔、可扩展的特点。FATE-Operator 是 Kubeflow 官方子项目,是 Kubeflow 联邦学习方案。

    1.1K60编辑于 2023-04-04
  • 来自专栏自动化、性能测试

    Mysql常用sql语句(9)- like 模糊查询

    测试必备的Mysql常用sql语句系列 https://www.cnblogs.com/poloyy/category/1683347.html 前言 like应该是最常用的查询条件了 必须滴掌握! % 通配符查询的栗子 应该是最常用的通配符了,它代表任意长度的字符串,包括0 % 比如: 表示以字母 a 开头,以字母 b 结尾的任意长度的字符串;该字符串可以代表 ab、acb、accb、accrb 等字符串 a%b 查询username字段包含test的记录 select * from yyTest where username like "%test%"; ? 查询username字段开头不为test且department字段不等于seewo的记录 select * from yyTest where username not like "test%" and 知识点 匹配的字符串必须加单引号或双引号 like "%test%" _ 通配符查询的栗子 只能代表单个字符,字符的长度不能等于0,即字符长度必须等于1;相对于 % 来说, _ 肯定没这么常用 _

    4.6K20发布于 2020-06-09
  • 来自专栏机器之心

    联邦学习 OR 迁移学习?No,我们需要联邦迁移学习

    首先,FATE 中利用同态加密的典型算法 Paillier[9]来实现数据加密。Paillier 将单个数字的大小增加到 1024 位(通常情况下为 64 位)。 作者将该问题定义为无监督联邦域自适应(Unsupervised Federated Domain Adaptation,UFDA),如图 9(a)所示。 ),通过对抗性技术解决联邦学习中的域迁移问题,如图 9(b)所示。 此外,作者还设计了一个动态注意力模型来处理联邦学习中不同的收敛速度问题。 ? 图 9. 如图 9(b)所示,Di 将提取的特征分解为两个分支。

    1.5K30发布于 2020-11-20
  • Doris Catalog 联邦分析查询性能优化:从排查到优化的完整指南

    在大数据分析中,Doris 的 Catalog 联邦分析功能为整合多源数据提供了有力支持。然而,在实际应用中,可能会遇到各种问题影响其正常运行。本文将详细剖析这些问题并提供解决方案。 一、联邦分析查询慢:内外表通用排查逻辑 当遇到 Doris Catalog 联邦分析查询慢的问题时,无论操作的是内表还是外表,都可以遵循以下通用逻辑进行排查: 1.  分区策略:基于时间、地域等高频查询维度创建分区,确保分区字段类型与查询条件匹配。 六、总结 Doris Catalog 联邦分析的查询性能优化是一个系统性工程,需结合执行计划分析、外表特性、基础设施等多维度排查。 通过本文提供的通用逻辑和针对性方案,可快速定位瓶颈并实施优化,充分发挥 Doris 在多源数据联邦分析中的性能优势。

    75700编辑于 2025-07-14
  • 来自专栏采云轩

    模块联邦浅析

    二.联邦模块插件的结构及其常见的调用方式(Module Federation Plugin) 上面我们大概了解了下模块联邦插件的大致使用方法。 模块联邦作为一个 webpack5 时期新出的插件,形态上看通常是一个带有 apply 方法的类。 联邦模块有两个主要概念:Host(消费其他 Remote)和 Remote(被 Host 消费)。 联邦模块是基于 webpack 做的优化,所以在深入联邦模块之前我们首先得知道 webpack 是怎么做的打包工作。 总结 通过这篇文章,我们收获了 模块联邦的基础概念。 模块联邦常用的配置项。 通过简易配置实现雏形项目开发。 模块联邦的基本原理。

    2.2K20编辑于 2022-08-30
  • 来自专栏Hadoop实操

    0505-使用Apache Hive3实现跨数据库的联邦查询

    这样做的好处是巨大的: 1.单个SQL方言和API 2.集中安全控制和审计跟踪 3.统一治理 4.能够合并来自多个数据源的数据 5.数据独立性 设置和使用Apache Hive作为联邦层可简化应用程序开发和数据访问 这不仅限于SQL系统:例如,Apache Hive也可以联邦Apache Druid或Apache Kafka进行查询,正如我们在最近的博文中所描述的,Druid可以非常高效的处理时序数据的汇总和过滤。 https://hortonworks.com/blog/benchmark-update-apache-hive-druid-integration-hdp-3-0/ 3 联邦到JDBC源端 storage handler和Calcite适配器的组合非常灵活,功能也非常强大,尤其是将Hive作为不同SQL系统的联邦层时。 HIVE-21059: https://jira.apache.org/jira/browse/HIVE-21059 5 总结 联邦功能为Hive带来了很大的灵活性,以下我们具体看看你可以使用它来干什么

    1.9K21发布于 2019-11-28
  • 来自专栏AI工程

    联邦学习简介

    Centralized Training Data》可以看出来谷歌对于联邦学习的基本定义是,无需通过中心化的数据,即可训练一个机器学习模型。 谷歌提出的联邦学习思想中,可以参考另一个介绍文章[2],给出的例子是toC的训练,例子中数据保存在个人移动设备中(手机),不需要数据上传,大体的思路是: ? 这种情况下被文献[4]称为纵向联邦学习。 www.fedai.org/ [4] https://aisp-1251170195.cos.ap-hongkong.myqcloud.com/wp-content/uploads/pdf/%E8%81%94%E9% 82%A6%E5%AD%A6%E4%B9%A0%E7%99%BD%E7%9A%AE%E4%B9%A6_v2.0.pdf https://blog.csdn.net/cao812755156/article

    1.6K40发布于 2020-08-10
  • 来自专栏Python项目

    提高Djang查询速度的9种方法

    引言在Web应用程序中,数据库查询是一个关键的环节。优化数据库查询可以显著提高应用程序的性能和响应速度。Django作为一个高度可扩展的Web框架,提供了多种方式来优化数据库查询。 ()进行聚合查询使用F()和Q()对象进行复杂查询缓存查询结果1. 查询集的延迟加载在Django中,查询集是惰性加载的,只有在需要数据时才会执行数据库查询。这意味着我们可以链式调用多个方法来对查询进行逐步优化,而不必立即执行查询。 ).order\_by('field2')查询集的延迟加载使得我们可以根据实际需求灵活地构建查询,并避免不必要的数据库查询操作。 9. 缓存查询结果最后,为了进一步提高性能,我们可以使用Django的缓存机制来缓存查询结果。通过缓存查询结果,可以避免重复的数据库查询操作,从而减少响应时间和数据库负载。

    1.2K20编辑于 2023-07-17
  • 来自专栏python全栈教程专栏

    mysql数据库(9):常用查询的例子

    2000,1,30),(2000,2,2), (2000,2,23),(2000,2,23); SELECT year,month,BIT_COUNT(BIT_OR(1<  (9)

    1.3K20发布于 2021-10-18
  • 来自专栏数据云团

    Django进阶-9-ORM分组与聚合查询

    一 、ORM 查询性能 ① 普通查询 #for循环10次发送10次数据库查询请求 obj_list=models.Articles.objects.all() for row in obj_list : print(row.name) 这种查询方式第一次发送 查询请求每for循环一次也会发送查询请求 ② select_related() 结果为对象 注意query_set类型的对象 查询时主动完成连表形成一张大表,for循环时不用额外发请求; 试用场景: 节省硬盘空间,数据量少时候适用相当于做了一次数据库查询; obj_list=models.Articles.objects.all ,所以出现prefetch_related; prefetch_related:不做连表,多次单表查询外键表 ,去重之后显示, 2次单表查询(有几个外键做几次1+N次单表查询) 适用场景:效率高,数据量大的时候适用 即在查询集上生成聚合。

    1.3K20发布于 2019-07-18
  • 来自专栏计算机工具

    联邦学习-Tensorflow实现联邦模型AlexNet on CIFAR-10

    懒得看讲解的可以直接拉到最后的完整代码章节,共有四个代码文件,运行python Server.py即可以立马体验原汁原味的(单机模拟)联邦学习。 咱没那么多显存TAT 概括一下:联邦学习的Clients,只是普通TF训练模型代码上,加上模型变量的值提取、赋值功能。 32 num_input_channel = 3 # image channel: 3 num_classes = 10 # Cifar-10 total classes (0-9 也反面证明了,Non-I.I.D.确实是联邦学习的一个难题。 32 num_input_channel = 3 # image channel: 3 num_classes = 10 # Cifar-10 total classes (0-9

    45510编辑于 2024-12-14
  • 来自专栏AI科技大本营的专栏

    联邦学习,为何而生?

    纵向联邦学习训练示意图 联邦学习有如下几点优势: 1. 数据隔离,数据不会泄露到外部,满足用户隐私保护和数据安全的需求; 2. 并且越来越多的人关注到联邦学习这个新兴技术,希望系统地掌握联邦学习的原理,并在产业应用中解决具体问题。 《联邦学习技术与实战》正是在这样的背景下撰写和出版的。 领导团队研发联邦学习技术和产品、模型管理体系、监控体系等。 王虎则负责联邦组网过程中的算法研究和模型优化,在联邦学习产品化、探索实践的过程中积累了大量经验。 不仅深入浅出地讲解了具体的联邦学习算法,联邦交集计算以及联邦特征工程等理论知识,同样针对实践过程中可能遇到的通信、资源不足等问题给出了优化方案。 本书介绍了联邦学习技术的原理和实战经验,主要内容包括隐私保护、机器学习等基础知识,联邦求交、联邦特征工程算法,三种常见的联邦形式,以及工程架构、产业案例、数据资产定价等。

    45010编辑于 2023-05-08
  • 来自专栏自动化、性能测试

    MongoDB(9)- 文档查询操作之 find() 的简单入门

    find() MongoDB 中查询文档使用 find() find() 方法以非结构化的方式来显示所要查询的文档 语法格式 db.collection.find(query, projection) query:可选项,设置查询操作符指定查询条件 projection :可选项,指定要在与 query 匹配的文档中返回的字段,如果忽略此选项则返回所有字段 pretty() 为了查看文档的格式更加直观美丽 ,但是只返回匹配查询条件成功的第一个文档 语法格式 db.collection.findOne(query, projection) 查询条件 MongoDB 支持查询条件操作符,下表为 MongoDB 这里有一个概念叫查询操作符,其实就是上面查询条件列的那些栗子 使用查询操作符的语法格式 { <field1>: { <operator1>: <value1> }, ... } 还有哪些查询操作符后面再展开详解 查询文档,and 与操作 > db.inventory.find( { status: "A", qty: { $lt: 30 } } ) { "_id" : ObjectId("60b5e622dd6e93ee8bf35a9d

    1.2K10发布于 2021-06-09
  • 来自专栏学习有记

    阅读查询计划:SQL Server 索引进阶 Level 9

    图形查询计划 查询计划是SQL Server执行查询的一组指令。 SQL Server Management Studio将以文本,图形或XML格式显示查询计划。 “显示估计执行计划”选项立即显示所选TSQL代码的查询计划图,而不执行查询。 “包括实际执行计划”按钮是一个开关,一旦您选择了此选项,您执行的每个查询批次都将显示新查询计划图表以及结果和消息。 对于查询计划,一张图片通常胜过千言万语。 阅读图形查询计划 图形查询计划通常从右到左读取;最右边的图标表示数据收集流中的第一步。这通常是访问堆或索引。 在我们的例子中,我们只有一个查询,而不是一系列的查询来支持。因此,我们唯一包含的列将是OrderDate。 图形计划可能会建议一个索引,以提高查询的性能。 了解查询计划将帮助您评估和优化索引设计。 ----

    1.5K60发布于 2018-07-19
领券