- 综合排序
- 最热优先
- 最新优先
- 来自专栏应用计算
SPL轻量级文件存储提速查询实践
把不再变化的历史数据存储成轻量级的 esProc SPL 列存文件，可以利用 SPL 语言的强大计算能力，跑出远超传统数据库的查询性能。 esProc SPL 很轻，直接嵌入应用就可以运行，在实现数据外置提速的同时，也不会让整个系统架构变得很复杂：这里准备了一套使用 SPL 外置数据提速查询的实践方法：第一篇 - 常规过滤及分组汇总第二篇 枚举字段条件过滤其中涉及的实例都是传统数据库很头疼的性能问题，比如 COUNT DISTINCT，外键 JOIN，大主子表关联（包括 EXISTS），枚举字段条件过滤（包括 IN）等，助您突破数据库查询性能瓶颈
25210编辑于 2025-08-26 - 来自专栏路人甲Java
Mybatis系列第12篇：掌握缓存为查询提速!
最终效果应该是查询1访问db拿去数据，然后将其丢到一级缓存中，查询2会直接从一级缓存中拿到数据，而查询3走的是getList2，发现flushCache为true，会先清空一级缓存中所有数据，也就是此时查询 1放入缓存的数据会被清理掉，然后查询3会访问db获取数据，然后丢到缓存中；而查询4走的是getList2，发现flushCache为true，会先清空缓存，所以3放入一级缓存的数据会被清空，然后导致查询 4也会访问db，查询5去一级缓存中查询数据，因为查询1和2放入缓存的数据都被查询3清空了，所以导致查询5发现一级缓存中没有数据，也会访问db去获取数据。 一二级缓存共存时查询原理 一二级缓存如果都开启的情况下，数据查询过程如下： 当发起一个查询的时候，mybatis会先访问这个namespace对应的二级缓存，如果二级缓存中有数据则直接返回，否则继续向下 db，第二次查询从二级缓存中获取了数据，第3和第4查询访问的是getList2，这个查询会清空二级缓存中的数据，直接去db中查询，查询4执行完毕之后，二级缓存中只有第四次查询的数据，第5次查询去getList1
67120发布于 2020-02-18 - 来自专栏bisal的个人杂货铺
查询提速10倍的SQL性能优化场景方案介绍
仅一行SQL，查询时间提速10倍！》通过不同的方案，讲解一个常见场景的优化，而且有些设计思路可以借鉴到实际的应用系统设计中，让其性能水准得到充分发挥。
15010编辑于 2025-11-12 - 来自专栏腾讯云大数据
行业独家 | 腾讯云ES：PB日志查询大提速，自治索引查询裁剪详解！
作者：腾讯云大数据ES团队 背景概述 日志场景一般具有明显的冷热特点，比如保留7天的日志数据，但P90查询都集中在近12小时，并且在查询日志时一般使用索引前缀查询，比如filebeat-*，这种查询比指定索引名查询 而日志场景一般具有近热远冷的特性，例如刚上报的日志数据，往往读写频率较高，而随着时间推移，频率则慢慢降低，因此，通配查询的必要性并不强，如果能根据该特性进行查询剪枝，将能够极大的提升查询效率。 为了降低查询延迟，结合日志场景中查询行为冷热明显的特点，我们在自治索引上做了查询裁剪优化，在查询时，协调节点可根据查询条件中指定的时间范围，结合后备索引元数据中记录的时间范围信息，提前进行数据预过滤，降低分片发送请求的数量 ，使得PB级日志查询性能可提高3倍以上。 查询裁剪示意图 注：理论上，所需查询的时间范围与数据总的实际时间范围差距越大，查询裁剪优势越明显。
84120编辑于 2022-11-22 - 来自专栏数据分析
PostgreSQL并行查询：让特征计算提速5倍的方法
1.2 并行查询的破局之道PostgreSQL 9.6+引入的并行查询机制，通过Gather节点协调多个worker进程并行扫描、聚合和连接表，理论上可将OLAP场景性能线性提升。 MVCC机制的交互可能引发意外的锁竞争二、并行查询核心原理解析2.1 执行计划树的重构魔法传统串行查询的执行计划是单一树状结构，而并行查询会在计划树中注入Gather或Gather Merge节点，形成 event_timestamp月分区优秀低时间范围查询为主user_id哈希分区良好中用户级点查询location_city列表分区一般高地域分析场景4.2 串行实现与性能基线原始PL/pgSQL实现： main "$@"七、监控告警与故障诊断7.1 并行查询专属监控视图-- 创建并行查询实时监控视图CREATE OR REPLACE VIEW v_parallel_activity ASSELECT scan_progress_percentFROM pg_stat_activity p1WHERE leader_pid IS NULL -- 只显示leader进程ORDER BY query_start;-- 查询并行查询内存使用
48730编辑于 2025-12-11 《前端开发者必看：IndexedDB海量数据查询提速秘籍》
但当数据量庞大时，索引的维护和查询效率会受到严峻考验。并非所有字段都适合建立索引。要依据实际查询需求，挑选那些在查询条件中频繁出现的字段。 当查询涉及多个字段时，复合索引能发挥巨大作用。以社交应用为例，若要查询特定城市且年龄在一定范围内的用户，单独为城市和年龄字段建立索引可能无法满足高效查询需求。 当查询特定时间段或类型的图片时，只需在相应的分片数据中查找，减少查询范围，提高查询速度。规范化数据结构能减少数据冗余，确保数据一致性，但在查询时可能需要进行多表关联，增加查询复杂度。 要根据具体应用场景和查询需求，灵活权衡两者的使用。在前端应用中设置内存缓存，将频繁查询的数据存储在内存中。当再次查询相同数据时，可直接从内存中获取，无需访问IndexedDB。 例如在一个天气应用中，用户经常查询当地天气信息，将最近一次查询结果缓存到内存中，下次查询时若数据未过期，即可快速返回结果，减少数据库查询次数，提高响应速度。
34110编辑于 2025-07-04- 来自专栏C博文
PostgreSQL窗口函数避坑指南：如何让复杂分析查询提速300%？
本文基于真实企业级优化案例，通过剖析窗口函数的执行原理与常见陷阱，结合8个深度优化策略，将原本耗时分钟级的分析查询压缩至秒级响应。所有代码均通过PostgreSQL 15验证。 1 窗口函数的性能陷阱：为什么你的分析查询越来越慢？ 窗口函数（Window Functions）是SQL分析场景的核心工具，但在处理海量数据时极易成为性能瓶颈。 ) 注意事项： 窗口函数需满足PARTITION BY可并行拆分 避免使用ROWS BETWEEN等依赖全局排序的框架 增大work_mem保障每个worker内存充足 4 实战案例：电商用户行为分析提速 通过预计算和存储窗口函数结果，将实时计算转化为静态查询。 某金融客户在优化后，其风险分析查询从原来的47秒降至0.8秒，效率提升达5800%。
50210编辑于 2025-07-15 - 来自专栏数据分析
如何用 esProc 将数据库表转储提速查询
数据量大或者数据库繁忙都会导致数据库查询变慢，这时将数据用 esProc 导出存成文件再计算可以大幅提升性能。 INDelivered330032023-03-15703Laptop Air11099.991099.99Credit Card101 Tenth Rd, Seattle, WADelivered数据量：3 千万行两个样例查询 31' AND quantity > 1 AND total_amount < 1000 GROUP BY payment_method, order_status;查询时间 orders)SELECT * FROM ranked_ordersWHERE amount_rank <= 3ORDER BY product_name, amount_rank;查询时间 ：63.22s现在用 esProc 将数据转储成文件加速查询。
65800编辑于 2025-04-23 - 来自专栏数据和云
SQL查询提速秘诀，避免锁死数据库的数据库代码
于是，他查询住在加利福尼亚州的客户，把查询结果放到一个临时表中。 然后再来查询年收入高于 4 万美元的客户，把那些结果放到另一个临时表中。最后他连接这两个表，获得最终结果。 你是在逗我吧？ 这应该用一次查询来完成，相反你对一个超大表查询两次。别犯傻了：大表尽量只查询一次，你会发现存储过程执行起来快多了。 在查询的 SELECT 列表中使用标量函数时，该函数因结果集中的每一行而被调用，这会大幅降低大型查询的性能。 第一次查询用时 15 秒，包含 456197 个逻辑读取，第二次查询不到 1 秒就返回结果，只包含 5 个逻辑读取。 最后，我意识到这个查询违反了第 4 条规则：不要查询两次，但这也表明没有硬性规则。虽然我们在这里查询两次，但这么做是为了避免开销很大的表扫描。
2K30发布于 2018-07-27 - 来自专栏about云
12306网站：分布式内存数据技术为查询提速75倍
2012年10月份，二期用GemFire改造订单查询系统(客户查询自己的订单记录)。 2013年春节，又是网上订票高峰期间，大家可以显著发现，可以登录12306，虽然还是很难订票，但是查询余票很快，而且查询自己的订票和下订单也很快。 而在改造之后，支持每秒上万次的并发查询，高峰期间达到2.6万个查询/秒吞吐量，整个系统效率显著提高。如上图所示。 订单查询系统改造，在改造之前的系统运行模式下，每秒只能支持300-400个查询/秒的吞吐量，高流量的并发查询只能通过分库来实现。 改造之后，可以实现高达上万个查询/秒的吞吐量，而且查询速度可以保障在20毫秒左右。
3K61发布于 2018-03-27 - 来自专栏应用计算
第二篇 -COUNT DISTINCT：SPL轻量级文件存储提速查询实践
是否可以用有序去重来提速？
25110编辑于 2025-09-12 - 来自专栏数据库
不得不看，只有专家才知道的17个SQL查询提速秘诀！
于是，他查询住在加利福尼亚州的客户，把查询结果放到一个临时表中。 然后再来查询年收入高于 4 万美元的客户，把那些结果放到另一个临时表中。最后他连接这两个表，获得最终结果。 你是在逗我吧？ 这应该用一次查询来完成，相反你对一个超大表查询两次。别犯傻了：大表尽量只查询一次，你会发现存储过程执行起来快多了。 在运行的几乎每一次查询中，这个客户要在网络上为每一行至少多推送 2MB 的数据。自然，查询性能糟糕透顶。 没有一个查询实际使用该列！当然，该列被埋在七个视图的深处，要找出来都很难。 存储过程可以处理困扰临时查询的许多任务。 几年前，我妻子理清了 Entity Framework 的一个两页长的查询，该查询花了 25 分钟来运行。 最后，我意识到这个查询违反了第 4 条规则：不要查询两次，但这也表明没有硬性规则。虽然我们在这里查询两次，但这么做是为了避免开销很大的表扫描。
1.4K60发布于 2018-02-02 - 来自专栏Web 开发
给Twentyfifteen提速
Twentyfifteen默认加载了Google Fonts，但国内的这大局网，会导致无法加载，从而影响整个阻塞整个页面的渲染。
54300发布于 2018-08-08 - 来自专栏一臻数据
数据查询太慢？这个Doris JOIN秘笈让你的SQL提速千百倍！
“数据分析这一行，"慢查询"就像职场痛点一样挥之不去。 最近遇到不少分析师小伙伴，动不动抱怨查询跑了好几小时还没结果，只能对着转圈圈的进度条干着急。 "查询速度比蜗牛还慢，老板都催疯了..."他一脸苦相地说。 作为一名多年摸爬滚打在数据库优化一线的魔芋师，我忍不住笑了："JOIN慢，那是你还不懂它的脾气秉性。 今天，基于Doris一起来扒一扒数据JOIN的那些事，看看如何让你的查询化身"闪电侠"，让老板对你刮目相看！ 起初他用了最常规的JOIN方式,结果查询速度慢得令人发指,一个查询要跑好几个小时。这可让他犯了难 - 老板要的报表迟迟出不来,催得他焦头烂额。 小张找到了他的老朋友、Doris专家老李诉苦。 因此，在实际查询时，可以直接在这两张表上执行 Join 计算。
1.3K10编辑于 2024-12-24 - 来自专栏我就是马云飞
Gradle构建提速
提速法则一览 以上优化方案基于android gradle tools 3.0-alpha 关于Santa Tracker Project 9 个模块，包括Wear 500 多个Java文件 1700
1.9K50发布于 2018-02-05 - 来自专栏C博文
MySQL索引与性能优化入门：让查询提速的秘密武器【MySQL系列】
本文将深入讲解 MySQL 索引的底层原理、常见类型、使用技巧，并结合 EXPLAIN 工具分析查询执行计划，配合慢查询日志识别瓶颈，逐步建立起系统的 MySQL 查询优化知识体系。 1.1 索引的本质 索引是一种数据结构，其目的是提升数据库查询效率。它将表中的某些列值抽取出来，构建一个高效的查找结构（通常是 B+ 树），通过该结构定位数据的存储位置。 所有叶子节点通过链表相连，方便区间查询。 3.2 聚簇索引 vs 非聚簇索引 聚簇索引：主键索引，数据和索引存储在一起。 二级索引（辅助索引）：索引结构中存储的是主键的值，需要二次回表查询原始数据。 = 1 6.2 查询慢日志内容 mysqldumpslow -s r -t 10 /var/log/mysql/mysql-slow.log 6.3 使用 pt-query-digest 分析慢查询 7.2 使用覆盖索引 查询所用字段全部在索引中，避免回表。
38710编辑于 2025-07-14 - 来自专栏johnhuster
国内访问github提速
当然还有其他一些方式，不过上面这个网站已经满足了笔者的需求，更多可以参照https://juejin.cn/post/6876715404455051272
1.3K10编辑于 2022-03-28 查询提速11倍、资源节省70%，Apache Doris 在网易日志和时序场景的实践
由于存储空间大幅节省，在同样的成本下可以使用 SSD 代替 HDD 存储热数据，又带来更大的查询性能提升。查询提速 11 倍：新架构以更低的 CPU 资源消耗带来了数十倍的查询效率提升。 查询响应快且更稳定：为验证其查询响应速度，随机挑选一个线上 SQL（最近 10min 匹配一个字符串），对该 SQL 连续查询 99 次。 从下图可知，Doris（蓝色）的查询性能比 InfluxDB（红色） 更稳定，99 次查询均比较平稳、没有明显波动，而 InfluxD 出现多次异常波动，查询耗时直线上升，查询稳定性受到严重影响。 对于经常需要查询的字段，建议构建索引以提高查询效率；而对于需要进行全文检索的字段，应指定合适的分词器参数 parser，确保检索的准确性和效率。 04 查询调优当灵犀 - Eagle 监控平台在进行查询测试的时候，疑似读取到了不符合匹配条件的结果，这一现象显然不符合预期的检索逻辑。
1.3K10编辑于 2024-05-06- 来自专栏应用计算
第四篇 - 大主子表关联--SPL轻量级文件存储提速查询实践
这一篇介绍主键关联的提速。主表订单表和子表明细表的关联就是主键关联。SQL 中，这种关联仍用 JOIN 实现，在两个表都很大的情况下，常常出现计算速度非常慢的现象。 是否可以用有序归并方法提速？
20810编辑于 2025-10-20 - 来自专栏杰瑞IC验证
验证仿真提速系列--SystemVerilog编码层面提速的若干策略
诸多层面，提速手段不同，收益也不同。 我们《验证仿真提速系列》这个专辑就一起来探讨和解决这个问题（注意：专辑发文顺序与仿真提速收益无关，完全看天气和心情！！！） ? 点赞在看收藏转发，防止迷路，我们开车～ 本文由“壹伴编辑器”提供技术支持 今天别的先不聊，就单从代码习惯出发聊聊SystemVerilog编码层面提速的若干策略。 本文虽偏重定性分析和结论摆出，但是这些结论还是具有很不错的价值，例如对SystemVerilog仿真速度的编码层面优化方法提供了一些思路和认知，对SystemVerilog代码风格建立提供了一个新的观察视角，当你在代码提速优化 结语 正如前文所说：“专辑发文顺序与提速收益无关”，本篇的提效手段，对于代码规模不大的验证业务，说实话并不是收益最大的提速方式，甚至有的收益难以感知，属于“勒紧裤腰带”的致富方式。 哪些提速方法有更大的收益？ 如何监控我们的仿真速度？ 我们回头慢慢聊～ 祝愿越来越牛逼，各位加油！ ? 涉及的参考文献 1.“Yikes!
2.4K11发布于 2021-06-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号