首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏应用计算

    SPL轻量级文件存储提速查询实践

    把不再变化的历史数据存储成轻量级的 esProc SPL 列存文件,可以利用 SPL 语言的强大计算能力,跑出远超传统数据库的查询性能。 esProc SPL 很轻,直接嵌入应用就可以运行,在实现数据外置提速的同时,也不会让整个系统架构变得很复杂:这里准备了一套使用 SPL 外置数据提速查询的实践方法:第一篇 - 常规过滤及分组汇总第二篇 枚举字段条件过滤其中涉及的实例都是传统数据库很头疼的性能问题,比如 COUNT DISTINCT,外键 JOIN,大主子表关联(包括 EXISTS),枚举字段条件过滤(包括 IN)等,助您突破数据库查询性能瓶颈 SPL 代码 1:按 ctrl-F9 或单击执行按钮后,点击 A2 格,在右边可以看到 100 条数据。SPL 代码写在单元格中,可以直接用格名作为临时变量。

    25310编辑于 2025-08-26
  • 来自专栏路人甲Java

    Mybatis系列第12篇:掌握缓存为查询提速!

    运行输出 20:10.872 [main] INFO c.j.chat05.demo9.Demo9Test - 查询1 start 20:11.164 [main] DEBUG c.j.c.d.mapper.UserMapper.getList1 Demo9Test - 查询1:getList1->[UserModel(id=1, name=路人甲Java, age=30), UserModel(id=2, name=张学友, age=50), Demo9Test - 查询2 start 20:11.218 [main] INFO c.j.chat05.demo9.Demo9Test - 查询2:getList1->[UserModel(id Demo9Test - 查询3:getList2->[UserModel(id=1, name=路人甲Java, age=30), UserModel(id=2, name=张学友, age=50), Demo9Test - getList2查询 02:51.906 [main] DEBUG c.j.chat05.demo9.mapper.UserMapper - Cache Hit Ratio [com.javacode2018

    67220发布于 2020-02-18
  • 来自专栏小雨的CSDN

    9.MySQL高阶查询方法——聚合查询 联合(多表)查询

    聚合查询 一般需要搭配MySQL中的一些内置“函数” 1)count:用来计算结果的行数 <mysql> select name,decription from user; +--------+---- 联合/多表查询 实现联合查询的基本机制:笛卡尔积 图片 多表查询的过程就是先计算两张表的笛卡尔积,再根据一些条件对笛卡尔积中的记录进行筛选 如果针对两个比较大的表进行联合查询,笛卡尔积的计算开销会很大 ,最终的查找效率也比较低,在生产环境中,不应该对达标进行联合查询。 ,course where student.id = score.student_id and course.id = score.course_id; 2)自连接 自连接是指在同一张表连接自身进行查询 相当于把多个表查询的结果集合合并成一个集合(需要保证多个结果集之间的字段和数目都得一致) a)查询id<3或者是英文课程 方法一: 方法二:

    2.1K40编辑于 2022-10-26
  • 来自专栏bisal的个人杂货铺

    查询提速10倍的SQL性能优化场景方案介绍

    仅一行SQL,查询时间提速10倍!》通过不同的方案,讲解一个常见场景的优化,而且有些设计思路可以借鉴到实际的应用系统设计中,让其性能水准得到充分发挥。

    15010编辑于 2025-11-12
  • 来自专栏写代码和思考

    MyBatis 学习笔记(9) 分页查询

    背景 在 mybatis 中经常用到分页查询,本文介绍下使用 PageHelper 进行分页查询。 2.知识 MyBatis 分页插件 - PageHelper。 SELECT * FROM city ") List<City> selectByPage1(); List<City> selectByPage2(); } 调用时,像平时一样写 查询语句 ,具体在调用前先 “启动开发分页” PageHelper.startPage(1, 5); 剩下的就交给插件来做了,它会自动的帮忙调整查询的sql语句,返回结果。 page = %s", page); } } 我的代码示例见: https://github.com/vir56k/java_demo/tree/master/mybatisdemo9_

    49630发布于 2021-07-08
  • 来自专栏腾讯云大数据

    行业独家 | 腾讯云ES:PB日志查询提速,自治索引查询裁剪详解!

    作者:腾讯云大数据ES团队 背景概述 日志场景一般具有明显的冷热特点,比如保留7天的日志数据,但P90查询都集中在近12小时,并且在查询日志时一般使用索引前缀查询,比如filebeat-*,这种查询比指定索引名查询 而日志场景一般具有近热远冷的特性,例如刚上报的日志数据,往往读写频率较高,而随着时间推移,频率则慢慢降低,因此,通配查询的必要性并不强,如果能根据该特性进行查询剪枝,将能够极大的提升查询效率。 为了降低查询延迟,结合日志场景中查询行为冷热明显的特点,我们在自治索引上做了查询裁剪优化,在查询时,协调节点可根据查询条件中指定的时间范围,结合后备索引元数据中记录的时间范围信息,提前进行数据预过滤,降低分片发送请求的数量 ,使得PB级日志查询性能可提高3倍以上。 查询裁剪示意图 注:理论上,所需查询的时间范围与数据总的实际时间范围差距越大,查询裁剪优势越明显。 

    84320编辑于 2022-11-22
  • 来自专栏数据分析

    PostgreSQL并行查询:让特征计算提速5倍的方法

    1.2 并行查询的破局之道PostgreSQL 9.6+引入的并行查询机制,通过Gather节点协调多个worker进程并行扫描、聚合和连接表,理论上可将OLAP场景性能线性提升。 MVCC机制的交互可能引发意外的锁竞争二、并行查询核心原理解析2.1 执行计划树的重构魔法传统串行查询的执行计划是单一树状结构,而并行查询会在计划树中注入Gather或Gather Merge节点,形成 event_timestamp月分区优秀低时间范围查询为主user_id哈希分区良好中用户级点查询location_city列表分区一般高地域分析场景4.2 串行实现与性能基线原始PL/pgSQL实现: main "$@"七、监控告警与故障诊断7.1 并行查询专属监控视图-- 创建并行查询实时监控视图CREATE OR REPLACE VIEW v_parallel_activity ASSELECT scan_progress_percentFROM pg_stat_activity p1WHERE leader_pid IS NULL -- 只显示leader进程ORDER BY query_start;-- 查询并行查询内存使用

    49230编辑于 2025-12-11
  • 来自专栏新智元

    TensorFlow正式发布1.5.0,支持CUDA 9和cuDNN 7,双倍提速

    来源:Github 编译:费欣欣 【新智元导读】TensorFlow今天正式发布了1.5.0版本,支持CUDA 9和cuDNN 7,进一步提速。 刚刚,TensorFlow发布了1.5.0正式版,很多人都期待已久,最重大的改动是支持CUDA 9和cuDNN 7,这承诺将使Volta GPUs/FP16上的训练速度翻倍。 重大变动 现在预编译的二进制文件是针对CUDA 9和cuDNN 7构建的。 从1.6版本开始,预编译二进制文件将使用AVX指令。这可能会破坏老式CPU上的TF。 提供CUDA 9和cuDNN 7支持。 加速线性代数(XLA): 将complex64支持添加到XLA编译器。 bfloat支持现在被添加到XLA基础设施。

    1.4K60发布于 2018-03-20
  • 《前端开发者必看:IndexedDB海量数据查询提速秘籍》

    但当数据量庞大时,索引的维护和查询效率会受到严峻考验。并非所有字段都适合建立索引。要依据实际查询需求,挑选那些在查询条件中频繁出现的字段。 当查询涉及多个字段时,复合索引能发挥巨大作用。以社交应用为例,若要查询特定城市且年龄在一定范围内的用户,单独为城市和年龄字段建立索引可能无法满足高效查询需求。 当查询特定时间段或类型的图片时,只需在相应的分片数据中查找,减少查询范围,提高查询速度。规范化数据结构能减少数据冗余,确保数据一致性,但在查询时可能需要进行多表关联,增加查询复杂度。 要根据具体应用场景和查询需求,灵活权衡两者的使用。在前端应用中设置内存缓存,将频繁查询的数据存储在内存中。当再次查询相同数据时,可直接从内存中获取,无需访问IndexedDB。 例如在一个天气应用中,用户经常查询当地天气信息,将最近一次查询结果缓存到内存中,下次查询时若数据未过期,即可快速返回结果,减少数据库查询次数,提高响应速度。

    34510编辑于 2025-07-04
  • 来自专栏信息技术智库

    9.MySQL数据查询SQL

    9.MySQL数据查询SQL 语法格式: select 字段列表|* from 表名 [where 搜索条件] [group by 分组字段 [having 分组条件]] [order by 排序字段  +---------+ -- 统计 users 表中的数据量 select count(*) from users; +----------+ | count(*) | +----------+ | 9  | +----------+ select count(id) from users; +-----------+ | count(id) | +-----------+ | 9 | +-------- 王五六 | 23 | 890 | NULL | NULL | NULL | +------+-----------+------+--------+-----------+------+------+ 9  rows in set (0.00 sec) -- 如果按照sex这一列进行统计,结果就是8个而不是9个,因为sex这一列中有NULL值存在 mysql> select count(sex) from 

    1.3K30编辑于 2022-07-29
  • 来自专栏机器学习AI算法工程

    9提速又提效的模型优化方案

    我这次就给大家分享9篇对Transformer模型进行效率优化的改进文章,以方便大家更高效地使用模型,寻找论文创新点。

    3K11编辑于 2024-04-30
  • 来自专栏C博文

    PostgreSQL窗口函数避坑指南:如何让复杂分析查询提速300%?

    本文基于真实企业级优化案例,通过剖析窗口函数的执行原理与常见陷阱,结合8个深度优化策略,将原本耗时分钟级的分析查询压缩至秒级响应。所有代码均通过PostgreSQL 15验证。 1 窗口函数的性能陷阱:为什么你的分析查询越来越慢? 窗口函数(Window Functions)是SQL分析场景的核心工具,但在处理海量数据时极易成为性能瓶颈。 ) 注意事项: 窗口函数需满足PARTITION BY可并行拆分 避免使用ROWS BETWEEN等依赖全局排序的框架 增大work_mem保障每个worker内存充足 4 实战案例:电商用户行为分析提速 通过预计算和存储窗口函数结果,将实时计算转化为静态查询。 某金融客户在优化后,其风险分析查询从原来的47秒降至0.8秒,效率提升达5800%。

    50610编辑于 2025-07-15
  • 来自专栏自动化、性能测试

    Mysql常用sql语句(9)- like 模糊查询

    测试必备的Mysql常用sql语句系列 https://www.cnblogs.com/poloyy/category/1683347.html 前言 like应该是最常用的查询条件了 必须滴掌握! % 通配符查询的栗子 应该是最常用的通配符了,它代表任意长度的字符串,包括0 % 比如: 表示以字母 a 开头,以字母 b 结尾的任意长度的字符串;该字符串可以代表 ab、acb、accb、accrb 等字符串 a%b 查询username字段包含test的记录 select * from yyTest where username like "%test%"; ? 查询username字段开头不为test且department字段不等于seewo的记录 select * from yyTest where username not like "test%" and 知识点 匹配的字符串必须加单引号或双引号 like "%test%" _ 通配符查询的栗子 只能代表单个字符,字符的长度不能等于0,即字符长度必须等于1;相对于 % 来说, _ 肯定没这么常用 _

    4.7K20发布于 2020-06-09
  • 来自专栏数据分析

    如何用 esProc 将数据库表转储提速查询

    数据量大或者数据库繁忙都会导致数据库查询变慢,这时将数据用 esProc 导出存成文件再计算可以大幅提升性能。 31' AND quantity > 1 AND total_amount < 1000 GROUP BY payment_method, order_status;查询时间 orders)SELECT * FROM ranked_ordersWHERE amount_rank <= 3ORDER BY product_name, amount_rank;查询时间 :63.22s现在用 esProc 将数据转储成文件加速查询。 按 Ctrl+F9 执行:btx 文件就生成了:下面用 btx 跑一下上面第一个计算:按支付方式和订单状态分析 2022 年 -2023 年销售额。

    67000编辑于 2025-04-23
  • 来自专栏业余草

    9种方法让你访问Github提速到2MBs!

    编辑:业余草 经常有不少粉丝问我,github 访问超级慢,有没有办法加快,我当初推荐的第 9 种方法。 这种方法太过麻烦,直到最近我在网上看到有牛人总结的 GitHub 的 9 种加速方式,感觉还不错,小伙伴们可以试试! 1. 9. 通过修改 HOSTS 文件进行加速 手动把cdn和ip地址绑定。

    115.4K118发布于 2020-08-26
  • 来自专栏Python项目

    提高Djang查询速度的9种方法

    引言在Web应用程序中,数据库查询是一个关键的环节。优化数据库查询可以显著提高应用程序的性能和响应速度。Django作为一个高度可扩展的Web框架,提供了多种方式来优化数据库查询。 ()进行聚合查询使用F()和Q()对象进行复杂查询缓存查询结果1. 查询集的延迟加载在Django中,查询集是惰性加载的,只有在需要数据时才会执行数据库查询。这意味着我们可以链式调用多个方法来对查询进行逐步优化,而不必立即执行查询。 ).order\_by('field2')查询集的延迟加载使得我们可以根据实际需求灵活地构建查询,并避免不必要的数据库查询操作。 9. 缓存查询结果最后,为了进一步提高性能,我们可以使用Django的缓存机制来缓存查询结果。通过缓存查询结果,可以避免重复的数据库查询操作,从而减少响应时间和数据库负载。

    1.3K20编辑于 2023-07-17
  • 来自专栏python全栈教程专栏

    mysql数据库(9):常用查询的例子

    2000,1,30),(2000,2,2), (2000,2,23),(2000,2,23); SELECT year,month,BIT_COUNT(BIT_OR(1<  (9)

    1.3K20发布于 2021-10-18
  • 来自专栏数据云团

    Django进阶-9-ORM分组与聚合查询

    一 、ORM 查询性能 ① 普通查询 #for循环10次发送10次数据库查询请求 obj_list=models.Articles.objects.all() for row in obj_list : print(row.name) 这种查询方式第一次发送 查询请求每for循环一次也会发送查询请求 ② select_related() 结果为对象 注意query_set类型的对象 查询时主动完成连表形成一张大表,for循环时不用额外发请求; 试用场景: 节省硬盘空间,数据量少时候适用相当于做了一次数据库查询; obj_list=models.Articles.objects.all ,所以出现prefetch_related; prefetch_related:不做连表,多次单表查询外键表 ,去重之后显示, 2次单表查询(有几个外键做几次1+N次单表查询) 适用场景:效率高,数据量大的时候适用 即在查询集上生成聚合。

    1.3K20发布于 2019-07-18
  • 来自专栏数据和云

    SQL查询提速秘诀,避免锁死数据库的数据库代码

    于是,他查询住在加利福尼亚州的客户,把查询结果放到一个临时表中。 然后再来查询年收入高于 4 万美元的客户,把那些结果放到另一个临时表中。最后他连接这两个表,获得最终结果。 你是在逗我吧? 这应该用一次查询来完成,相反你对一个超大表查询两次。别犯傻了:大表尽量只查询一次,你会发现存储过程执行起来快多了。 在查询的 SELECT 列表中使用标量函数时,该函数因结果集中的每一行而被调用,这会大幅降低大型查询的性能。 第一次查询用时 15 秒,包含 456197 个逻辑读取,第二次查询不到 1 秒就返回结果,只包含 5 个逻辑读取。 最后,我意识到这个查询违反了第 4 条规则:不要查询两次,但这也表明没有硬性规则。虽然我们在这里查询两次,但这么做是为了避免开销很大的表扫描。

    2K30发布于 2018-07-27
  • 来自专栏about云

    12306网站:分布式内存数据技术为查询提速75倍

    一期先改造12306的主要瓶颈——余票查询系统。9月份完成代码改造,系统上线。2012年国庆,又是网上订票高峰期间,大家可以显著发现,可以登录12306,虽然还是很难订票,但是查询余票很快。 2012年10月份,二期用GemFire改造订单查询系统(客户查询自己的订单记录)。 而在改造之后,支持每秒上万次的并发查询,高峰期间达到2.6万个查询/秒吞吐量,整个系统效率显著提高。如上图所示。    订单查询系统改造,在改造之前的系统运行模式下,每秒只能支持300-400个查询/秒的吞吐量,高流量的并发查询只能通过分库来实现。 改造之后,可以实现高达上万个查询/秒的吞吐量,而且查询速度可以保障在20毫秒左右。   

    3K61发布于 2018-03-27
领券