- 综合排序
- 最热优先
- 最新优先
- 来自专栏应用计算
SPL轻量级文件存储提速查询实践
把不再变化的历史数据存储成轻量级的 esProc SPL 列存文件，可以利用 SPL 语言的强大计算能力，跑出远超传统数据库的查询性能。 esProc SPL 很轻，直接嵌入应用就可以运行，在实现数据外置提速的同时，也不会让整个系统架构变得很复杂：这里准备了一套使用 SPL 外置数据提速查询的实践方法：第一篇 - 常规过滤及分组汇总第二篇 枚举字段条件过滤其中涉及的实例都是传统数据库很头疼的性能问题，比如 COUNT DISTINCT，外键 JOIN，大主子表关联（包括 EXISTS），枚举字段条件过滤（包括 IN）等，助您突破数据库查询性能瓶颈
25310编辑于 2025-08-26 - 来自专栏路人甲Java
Mybatis系列第12篇：掌握缓存为查询提速!
(null)); //查询4：getList2 log.info("查询4 start"); log.info("查询4：getList2->{}", mapper.getList2 ，说明第3和第4次查询会清空当前一级缓存中所有数据。 4也会访问db，查询5去一级缓存中查询数据，因为查询1和2放入缓存的数据都被查询3清空了，所以导致查询5发现一级缓存中没有数据，也会访问db去获取数据。 1/3/4/5访问了db，查询2从缓存中获取的，和我们上面分析的过程一致。 db，第二次查询从二级缓存中获取了数据，第3和第4查询访问的是getList2，这个查询会清空二级缓存中的数据，直接去db中查询，查询4执行完毕之后，二级缓存中只有第四次查询的数据，第5次查询去getList1
67220发布于 2020-02-18 - 来自专栏JadePeng的技术博客
jenkins X实践系列（4） —— jenkins X 构建提速
最近调研了JX，这里为第4篇，介绍如何加入jx构建和部署。 builder镜像下载慢 先在一台机器上下载好，然后放到本地仓库，到jenkins的setting里，修改镜像地址 ? cnpm镜像 1 FROM jenkinsxio/builder-nodejs:0.1.215 2 MAINTAINER jadepeng <jqpeng@iflytek.com> 3 4
1.4K20发布于 2019-05-25 - 来自专栏bisal的个人杂货铺
查询提速10倍的SQL性能优化场景方案介绍
仅一行SQL，查询时间提速10倍！》通过不同的方案，讲解一个常见场景的优化，而且有些设计思路可以借鉴到实际的应用系统设计中，让其性能水准得到充分发挥。
15010编辑于 2025-11-12 - 来自专栏全栈程序员必看
SQL 数据查询（4）—— 嵌套查询
文章目录 带有IN谓词的子查询 带有比较运算符的子查询 带有ANY（SOME）或ALL谓词的子查询 带有EXISTS谓词的子查询 型如下面这样的就是嵌套查询： SELECT Sname FROM Student IN谓词的子查询 IN谓词用于子查询结果是一个集合的情况 例3.55：查询与“刘晨”在同一个系学习的学生 先分步用单表查询做 第一步： SELECT Sdept FROM Student WHERE ）查询步骤是： 从外层查询中选出一个SC的元组的x，将元组x的Sno的值在传到内层查询 执行内层循环，将得到的值代替内层查询 执行外层查询 带有ANY（SOME）或ALL谓词的子查询 >ANY 大于子查询结果中的某个值 >ALL 大于子查询结果中的所有值 <ANY 小于子查询结果中的某个值 <ALL 小于子查询结果中的所有值 >=ANY 大于等于子查询结果中的某个值 >=ALL 大于等于子查询结果中的所有值 <=ANY 小于等于子查询结果中的某个值 <=ALL 小于等于子查询结果中的所有值 =ANY 等于子查询结果中的某个值 =ALL 等于子查询结果中的所有值（通常没有实际意义） !
1.8K20编辑于 2022-09-22 - 来自专栏腾讯云大数据
行业独家 | 腾讯云ES：PB日志查询大提速，自治索引查询裁剪详解！
作者：腾讯云大数据ES团队 背景概述 日志场景一般具有明显的冷热特点，比如保留7天的日志数据，但P90查询都集中在近12小时，并且在查询日志时一般使用索引前缀查询，比如filebeat-*，这种查询比指定索引名查询 而日志场景一般具有近热远冷的特性，例如刚上报的日志数据，往往读写频率较高，而随着时间推移，频率则慢慢降低，因此，通配查询的必要性并不强，如果能根据该特性进行查询剪枝，将能够极大的提升查询效率。 为了降低查询延迟，结合日志场景中查询行为冷热明显的特点，我们在自治索引上做了查询裁剪优化，在查询时，协调节点可根据查询条件中指定的时间范围，结合后备索引元数据中记录的时间范围信息，提前进行数据预过滤，降低分片发送请求的数量 查询裁剪示意图 注：理论上，所需查询的时间范围与数据总的实际时间范围差距越大，查询裁剪优势越明显。 图文详解，你想了解的Elastic APM这里全都有 腾讯云ES：Elasticsearch ILM Shrink Action源码优化与探讨 免费体验活动专区 Elasticsearch 新用户可享 2核4G
84320编辑于 2022-11-22 - 来自专栏数据分析
PostgreSQL并行查询：让特征计算提速5倍的方法
1.2 并行查询的破局之道PostgreSQL 9.6+引入的并行查询机制，通过Gather节点协调多个worker进程并行扫描、聚合和连接表，理论上可将OLAP场景性能线性提升。 MVCC机制的交互可能引发意外的锁竞争二、并行查询核心原理解析2.1 执行计划树的重构魔法传统串行查询的执行计划是单一树状结构，而并行查询会在计划树中注入Gather或Gather Merge节点，形成 -- 开启4个并行workerEXPLAIN (ANALYZE, BUFFERS) SELECT user_id, COUNT(*) as login_cnt FROM user_behavior 2933MHz预留50GB给OS缓存存储NVMe SSD RAID10 (4TB)IOPS 100K+, 延迟<0.1ms网络10Gbps内网用于流复制监控PostgreSQL14.8 (源码编译)开启 net.ipv4.tcp_keepalive_time = 300 # keepalive探测间隔# III.
49230编辑于 2025-12-11 《前端开发者必看：IndexedDB海量数据查询提速秘籍》
但当数据量庞大时，索引的维护和查询效率会受到严峻考验。并非所有字段都适合建立索引。要依据实际查询需求，挑选那些在查询条件中频繁出现的字段。 当查询涉及多个字段时，复合索引能发挥巨大作用。以社交应用为例，若要查询特定城市且年龄在一定范围内的用户，单独为城市和年龄字段建立索引可能无法满足高效查询需求。 当查询特定时间段或类型的图片时，只需在相应的分片数据中查找，减少查询范围，提高查询速度。规范化数据结构能减少数据冗余，确保数据一致性，但在查询时可能需要进行多表关联，增加查询复杂度。 要根据具体应用场景和查询需求，灵活权衡两者的使用。在前端应用中设置内存缓存，将频繁查询的数据存储在内存中。当再次查询相同数据时，可直接从内存中获取，无需访问IndexedDB。 例如在一个天气应用中，用户经常查询当地天气信息，将最近一次查询结果缓存到内存中，下次查询时若数据未过期，即可快速返回结果，减少数据库查询次数，提高响应速度。
34510编辑于 2025-07-04- 来自专栏C博文
PostgreSQL窗口函数避坑指南：如何让复杂分析查询提速300%？
1 窗口函数的性能陷阱：为什么你的分析查询越来越慢？ 窗口函数（Window Functions）是SQL分析场景的核心工具，但在处理海量数据时极易成为性能瓶颈。 =12500 width=12) 注意事项： 窗口函数需满足PARTITION BY可并行拆分 避免使用ROWS BETWEEN等依赖全局排序的框架 增大work_mem保障每个worker内存充足 4 实战案例：电商用户行为分析提速312% (1) 优化前：30分钟超时失败 -- 原始查询：用户会话内行为序列分析 SELECT user_id, session_id, event_time 通过预计算和存储窗口函数结果，将实时计算转化为静态查询。 某金融客户在优化后，其风险分析查询从原来的47秒降至0.8秒，效率提升达5800%。
50610编辑于 2025-07-15 - 来自专栏数据分析
如何用 esProc 将数据库表转储提速查询
数据量大或者数据库繁忙都会导致数据库查询变慢，这时将数据用 esProc 导出存成文件再计算可以大幅提升性能。 INDelivered330032023-03-15703Laptop Air11099.991099.99Credit Card101 Tenth Rd, Seattle, WADelivered数据量：3 千万行两个样例查询 31' AND quantity > 1 AND total_amount < 1000 GROUP BY payment_method, order_status;查询时间 orders)SELECT * FROM ranked_ordersWHERE amount_rank <= 3ORDER BY product_name, amount_rank;查询时间 ：63.22s现在用 esProc 将数据转储成文件加速查询。
67000编辑于 2025-04-23 - 来自专栏IT云清
13.Elasticsearch查询语句4
本文从简单到复杂，将前面的查询关键字都用起来，并给出在mysql中的语句样式，方便对比理解。 1.简单条件查询 mysql: SELECT * FROM policy_file WHERE LEVEL = '国家级' AND web_source = '浙江省人民政府' ] } }, "from": 0, "size": 10, "_source": ["title","create_time","update_time"] }' 4. { "launch_date": { "order": "desc" } } ], "from": 0, "size": 10 }' 5.查询
45530发布于 2019-01-22 - 来自专栏多线程
MyBatis查询数据库（4）
= null”> 中的 createTime 是传入对象的属性，不是数据库字段 三、标签 传入的用户对象，根据属性做 where 条件查询，用户对象中属性不为 null 的，都为查询条件。 如user.username 为 "a"，则查询条件为 where username="a"： UserMapper： List<User> selectByCondition(User user > </choose> </where> </select> 动态SQL是MyBatis的一个重要特性，它允许你在SQL语句中根据条件动态地添加、修改或删除语句片段，以便更灵活地构建SQL查询和更新操作
45920编辑于 2023-10-16 - 来自专栏Crossin的编程教室
这4个提速神技让你代码快到飞起！
今天 Crossin 就来跟大家分享 4 个实战中非常管用的提速技巧，直接上代码！ 1. n) return a + b start = time.time() fast_sum(10**7) print(f"NumPy 向量化耗时: {time.time() - start:.4f as pool: pool.map(task, [10**7] * 4) print(f"4进程并行执行: {time.time() - start:.2f}s") 运行结果： 单进程顺序执行 : 3.98s 4进程并行执行: 1.23s 千万级数据下，4进程并行比单进程快了3倍多。 4. 终极偷懒大招：代码一行不改，换 PyPy 跑 如果你上面这些都不想搞，或者这是一个纯粹用 Python 写的庞大项目，有没有“物理外挂”？
17410编辑于 2026-04-02 - 来自专栏程序员的知识天地
3行代码让Python数据处理脚本获得4倍提速
得益于Python的 concurrent.futures 模块，我们只需3行代码，就能将一个普通数据处理脚本变为能并行处理数据的脚本，提速4倍。 试试创建多进程 下面是一种可以让我们并行处理数据的方法： 1.将JPEG文件划分为4小块。 2.运行Python解释器的4个单独实例。 3.让每个Python实例处理这4块数据中的一块。 4.将这4部分的处理结果合并，获得结果的最终列表。 4个Python拷贝程序在4个单独的CPU上运行，处理的工作量应该能比一个CPU大约高出4倍，对吧？ 比原来的版本提速4倍！之所以能更快的处理数据，是因为我们使用了4个CPU而不是1个。 但是如果你仔细看看，会发现“用户”时间几乎为9秒。那为何程序处理时间为2.2秒，但不知怎么搞得运行时间还是9秒？ 这种方法总能帮我的数据处理脚本提速吗？ 如果你有一列数据，并且每个数据都能单独处理时，使用我们这里所说的Process Pools是一个提速的好方法。
1.1K40发布于 2018-12-06 - 来自专栏数据和云
SQL查询提速秘诀，避免锁死数据库的数据库代码
不要查询两次（double-dip） 这是我看到好多人犯的另一个错误：写入存储过程，从一个有数亿行的表中提取数据。 开发人员想提取住在加利福尼亚州，年收入高于 4 万美元的客户信息。 于是，他查询住在加利福尼亚州的客户，把查询结果放到一个临时表中。 然后再来查询年收入高于 4 万美元的客户，把那些结果放到另一个临时表中。最后他连接这两个表，获得最终结果。 你是在逗我吧？ 这应该用一次查询来完成，相反你对一个超大表查询两次。别犯傻了：大表尽量只查询一次，你会发现存储过程执行起来快多了。 在查询的 SELECT 列表中使用标量函数时，该函数因结果集中的每一行而被调用，这会大幅降低大型查询的性能。 最后，我意识到这个查询违反了第 4 条规则：不要查询两次，但这也表明没有硬性规则。虽然我们在这里查询两次，但这么做是为了避免开销很大的表扫描。
2K30发布于 2018-07-27 - 来自专栏about云
12306网站：分布式内存数据技术为查询提速75倍
2012年10月份，二期用GemFire改造订单查询系统(客户查询自己的订单记录)。 2013年春节，又是网上订票高峰期间，大家可以显著发现，可以登录12306，虽然还是很难订票，但是查询余票很快，而且查询自己的订票和下订单也很快。 而在改造之后，支持每秒上万次的并发查询，高峰期间达到2.6万个查询/秒吞吐量，整个系统效率显著提高。如上图所示。 订单查询系统改造，在改造之前的系统运行模式下，每秒只能支持300-400个查询/秒的吞吐量，高流量的并发查询只能通过分库来实现。 改造之后，可以实现高达上万个查询/秒的吞吐量，而且查询速度可以保障在20毫秒左右。
3K61发布于 2018-03-27 - 来自专栏应用计算
第二篇 -COUNT DISTINCT：SPL轻量级文件存储提速查询实践
A4 中创建组表时，用 #user_id 声明组表是按照这个字段有序的。这里自动加了 p 选项。用户有序的数据是什么样的呢？我们来直观的看一下。 是否可以用有序去重来提速？
25210编辑于 2025-09-12 - 来自专栏侯哥的Python分享
Mysql基础4-数据查询
一、DQL介绍 DQL全称：Data Query Language(数据查询语言),用来查询数据库中表的记录。 ，多表查询会在后面的文章中介绍 三、基本查询 1、原始表数据 2、查询多个字段 语法：select 字段1，字段2，... from 表名 或者 select * from 表名（查询所有数据 ） 查询指定字段 3、设置别名 语法：select 字段1 [as 别名1], 字段2 [as 别名2] ... from 表名； 对查询结果设置别名 4、去重查询 语法： 非 1、查询年龄等于18的所有人的姓名 2、查询年龄小于21的人的姓名 3、查询年龄大于18,小于20的 4、查询地址不为空的人的姓名和地址信息 5、查询年龄小于20并且地址在西安的人的姓名和地址 ：统计数量 max: 最大值 min:最小值 avg:平均值 sum:求和 3、语法 select 聚合函数(字段列表) from 表名； 4、示例
44310编辑于 2023-07-24 - 来自专栏数据库
不得不看，只有专家才知道的17个SQL查询提速秘诀！
不要查询两次（double-dip） 这是我看到好多人犯的另一个错误：写入存储过程，从一个有数亿行的表中提取数据。 开发人员想提取住在加利福尼亚州，年收入高于 4 万美元的客户信息。 于是，他查询住在加利福尼亚州的客户，把查询结果放到一个临时表中。 然后再来查询年收入高于 4 万美元的客户，把那些结果放到另一个临时表中。最后他连接这两个表，获得最终结果。 你是在逗我吧？ 这应该用一次查询来完成，相反你对一个超大表查询两次。别犯傻了：大表尽量只查询一次，你会发现存储过程执行起来快多了。 存储过程可以处理困扰临时查询的许多任务。 几年前，我妻子理清了 Entity Framework 的一个两页长的查询，该查询花了 25 分钟来运行。 最后，我意识到这个查询违反了第 4 条规则：不要查询两次，但这也表明没有硬性规则。虽然我们在这里查询两次，但这么做是为了避免开销很大的表扫描。
1.4K60发布于 2018-02-02 - 来自专栏Web 开发
给Twentyfifteen提速
Twentyfifteen默认加载了Google Fonts，但国内的这大局网，会导致无法加载，从而影响整个阻塞整个页面的渲染。
54400发布于 2018-08-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号