首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏bisal的个人杂货铺

    查询提速10倍的SQL性能优化场景方案介绍

    仅一行SQL,查询时间提速10倍!》通过不同的方案,讲解一个常见场景的优化,而且有些设计思路可以借鉴到实际的应用系统设计中,让其性能水准得到充分发挥。

    15010编辑于 2025-11-12
  • 来自专栏应用计算

    SPL轻量级文件存储提速查询实践

    把不再变化的历史数据存储成轻量级的 esProc SPL 列存文件,可以利用 SPL 语言的强大计算能力,跑出远超传统数据库的查询性能。 esProc SPL 很轻,直接嵌入应用就可以运行,在实现数据外置提速的同时,也不会让整个系统架构变得很复杂:这里准备了一套使用 SPL 外置数据提速查询的实践方法:第一篇 - 常规过滤及分组汇总第二篇 枚举字段条件过滤其中涉及的实例都是传统数据库很头疼的性能问题,比如 COUNT DISTINCT,外键 JOIN,大主子表关联(包括 EXISTS),枚举字段条件过滤(包括 IN)等,助您突破数据库查询性能瓶颈

    25310编辑于 2025-08-26
  • 来自专栏路人甲Java

    Mybatis系列第12篇:掌握缓存为查询提速!

    最终效果应该是查询1访问db拿去数据,然后将其丢到一级缓存中,查询2会直接从一级缓存中拿到数据,而查询3走的是getList2,发现flushCache为true,会先清空一级缓存中所有数据,也就是此时查询 1放入缓存的数据会被清理掉,然后查询3会访问db获取数据,然后丢到缓存中;而查询4走的是getList2,发现flushCache为true,会先清空缓存,所以3放入一级缓存的数据会被清空,然后导致查询 4也会访问db,查询5去一级缓存中查询数据,因为查询1和2放入缓存的数据都被查询3清空了,所以导致查询5发现一级缓存中没有数据,也会访问db去获取数据。 一二级缓存共存时查询原理 一二级缓存如果都开启的情况下,数据查询过程如下: 当发起一个查询的时候,mybatis会先访问这个namespace对应的二级缓存,如果二级缓存中有数据则直接返回,否则继续向下 db,第二次查询从二级缓存中获取了数据,第3和第4查询访问的是getList2,这个查询会清空二级缓存中的数据,直接去db中查询查询4执行完毕之后,二级缓存中只有第四次查询的数据,第5次查询去getList1

    67220发布于 2020-02-18
  • 来自专栏wordpress建站吧

    WordPress网站访问慢,盘点提速优化技巧(一):优化提速Gravatar头像加载(10W+)

    Gravatar默认服务器 3、如果测试没有生效,需要检查你的wordpress主题是否自带了这个功能,或者是替换成了其他的镜像,但是速度不好,这个时候最好是去关闭掉我们的主题自带的Gravatar头像提速的功能 需要网站速度提速优化可以联系我!

    1.2K40发布于 2021-08-06
  • 来自专栏腾讯云大数据

    行业独家 | 腾讯云ES:PB日志查询提速,自治索引查询裁剪详解!

    作者:腾讯云大数据ES团队 背景概述 日志场景一般具有明显的冷热特点,比如保留7天的日志数据,但P90查询都集中在近12小时,并且在查询日志时一般使用索引前缀查询,比如filebeat-*,这种查询比指定索引名查询 而日志场景一般具有近热远冷的特性,例如刚上报的日志数据,往往读写频率较高,而随着时间推移,频率则慢慢降低,因此,通配查询的必要性并不强,如果能根据该特性进行查询剪枝,将能够极大的提升查询效率。 例如,有10个分片,我们需要查询返回前10个匹配度最高的文档,那么每个分片都需要查询出当前分片的Top10,协调节点将10✖️10的结果再次排序,返回最终Top10的结果给客户端。 为了降低查询延迟,结合日志场景中查询行为冷热明显的特点,我们在自治索引上做了查询裁剪优化,在查询时,协调节点可根据查询条件中指定的时间范围,结合后备索引元数据中记录的时间范围信息,提前进行数据预过滤,降低分片发送请求的数量 查询裁剪示意图 注:理论上,所需查询的时间范围与数据总的实际时间范围差距越大,查询裁剪优势越明显。 

    84320编辑于 2022-11-22
  • 来自专栏数据分析

    PostgreSQL并行查询:让特征计算提速5倍的方法

    MVCC机制的交互可能引发意外的锁竞争二、并行查询核心原理解析2.1 执行计划树的重构魔法传统串行查询的执行计划是单一树状结构,而并行查询会在计划树中注入Gather或Gather Merge节点,形成 (4TB)IOPS 100K+, 延迟<0.1ms网络10Gbps内网用于流复制监控PostgreSQL14.8 (源码编译)开启assert和perf支持OSCentOS 8.5内核5.4.210- 次/秒50次/秒10秒频繁启动开销大并行查询平均耗时<30秒5分钟1分钟长尾查询检测worker内存使用<256MB512MB30秒防止OOM共享缓冲区竞争率<5%20%1分钟通过buffers_backend 计算CPU上下文切换<10万/秒50万/秒10秒vmstat获取7.2 告警规则配置(Prometheus)# prometheus_alert.ymlgroups:- name: postgresql_parallel .*"} > 300 for: 10m labels: severity: critical annotations: summary: "并行查询执行超过5分钟"

    49230编辑于 2025-12-11
  • 来自专栏我和bug只能活一个

    这些方法让你的ChatGPT API提速10倍!

    想必大家都在尝试ChatGpt接入并赋能自己的各大应用和场景,比如接入微信机器人自动回复消息,又或者接入公众号

    5.6K60编辑于 2023-07-15
  • 《前端开发者必看:IndexedDB海量数据查询提速秘籍》

    但当数据量庞大时,索引的维护和查询效率会受到严峻考验。并非所有字段都适合建立索引。要依据实际查询需求,挑选那些在查询条件中频繁出现的字段。 当查询涉及多个字段时,复合索引能发挥巨大作用。以社交应用为例,若要查询特定城市且年龄在一定范围内的用户,单独为城市和年龄字段建立索引可能无法满足高效查询需求。 当查询特定时间段或类型的图片时,只需在相应的分片数据中查找,减少查询范围,提高查询速度。规范化数据结构能减少数据冗余,确保数据一致性,但在查询时可能需要进行多表关联,增加查询复杂度。 要根据具体应用场景和查询需求,灵活权衡两者的使用。在前端应用中设置内存缓存,将频繁查询的数据存储在内存中。当再次查询相同数据时,可直接从内存中获取,无需访问IndexedDB。 例如在一个天气应用中,用户经常查询当地天气信息,将最近一次查询结果缓存到内存中,下次查询时若数据未过期,即可快速返回结果,减少数据库查询次数,提高响应速度。

    34510编辑于 2025-07-04
  • 来自专栏wordpress建站吧

    WordPress网站访问慢,盘点提速优化技巧(一):优化提速Gravatar头像加载(价值10W)

    Gravatar默认服务器 3、如果测试没有生效,需要检查你的wordpress主题是否自带了这个功能,或者是替换成了其他的镜像,但是速度不好,这个时候最好是去关闭掉我们的主题自带的Gravatar头像提速的功能 需要网站速度提速优化可以联系我!

    1K30编辑于 2021-12-10
  • 来自专栏自动化、性能测试

    MongoDB(10)- 查询嵌套文档

    75, size: { h: 22.85, w: 30, uom: "cm" }, status: "D" }, { item: "postcard", qty: 45, size: { h: 10 换了个字段顺序就查不到同一条文档了 查询嵌套字段 要在嵌入/嵌套文档中的字段上指定查询条件,语法格式如下 "field.nestedField" 跟 JSON 取值一样,用 . 8.5, "w" : 11, "uom" : "in" }, "status" : "D" } size 字段值是一个文档,找到嵌套文档的 h 字段值等于 in 的所有文档 栗子二:嵌套字段结合单个查询条件操作符 } { "_id" : ObjectId("60b5e622dd6e93ee8bf35aa1"), "item" : "postcard", "qty" : 45, "size" : { "h" : 10

    2.4K21发布于 2021-06-09
  • 用 PHP TrueAsync 实现 PHP 脚本提速 10

    用PHPTrueAsync实现PHP脚本提速10倍多年来,开发者们在任务并行化方面有过多种实践。最早的尝试基于pcntl_fork和posix_kill,但这种方式在Windows上无法运行。 展开代码语言:PHPAI代码解释$taskQueue=newAsync\Channel(10);for($i=0;$i<10;$i++){spawn(run_worker(...) 假设有100个任务和10个进程的池。当所有worker都忙碌时会发生什么?$channel->send($task)会挂起协程,直到队列有空间。 i=0;$i<10;$i++){$group->spawn(run_worker(...) 用PHPTrueAsync实现PHP脚本提速10

    13910编辑于 2026-03-17
  • 来自专栏算法channel

    揭秘Numpy「高效使用哲学」,数值计算再提速10倍!

    使用ndarray.dtype, 我们能看到一个数组内元素的类型: In [9]: m.dtype Out[9]: dtype('int32') 如果我们尝试用str类型赋值给m,会报错: In [10 -------- ValueError Traceback (most recent call last) <ipython-input-10 -8d5580112ac6> in <module> ----> 1 m[0,0]='hello' ValueError: invalid literal for int() with base 10

    75910发布于 2019-11-14
  • 来自专栏【腾讯云开发者】

    代码10提速!吃透底层架构就是如此简单

    本文作者通过优化腾讯文档业务里的相关实现,将高频调用场景性能优化到原来的十倍,使文档核心指标耗时实现 10~15% 的下降,与此同时内存的增加仍细微到可忽略不计。 L22 其实就是在判断入参是不是 SMI,具体来说是 [rbx+0xf] 与 0x1 做按位与操作([rbx+0xf] 是通过栈传递的参数,是 v8 里 js 的调用约定)如果结果是 0 则跳转 0x10b7cc34f any, key: 'a' | 'b') { if (key === 'a') return obj.a; if (key === 'b') return obj.b; } 即使确实不得不动态查询 在这些优化技术的加持上,safari jscore 某些情况下甚至会比 chrome v8 还要快: 10高性能 JS 编写建议 大部分业务场景里更关心可维护性,性能不是最重要的,另外就是面向引擎/底层优化逻辑写的

    1.3K22编辑于 2024-09-26
  • 来自专栏C博文

    PostgreSQL窗口函数避坑指南:如何让复杂分析查询提速300%?

    1 窗口函数的性能陷阱:为什么你的分析查询越来越慢? 窗口函数(Window Functions)是SQL分析场景的核心工具,但在处理海量数据时极易成为性能瓶颈。 ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS running_total FROM orders; -- 10 ) 注意事项: 窗口函数需满足PARTITION BY可并行拆分 避免使用ROWS BETWEEN等依赖全局排序的框架 增大work_mem保障每个worker内存充足 4 实战案例:电商用户行为分析提速 通过预计算和存储窗口函数结果,将实时计算转化为静态查询。 某金融客户在优化后,其风险分析查询从原来的47秒降至0.8秒,效率提升达5800%。

    50610编辑于 2025-07-15
  • 来自专栏小耶转行干货分享

    写完SQL先别跑,这步做了至少提速10

    但数据库执行的逻辑是:FROM → WHERE → GROUP BY → HAVING → SELECT → ORDER BY → LIMIT

    7910编辑于 2026-04-28
  • 来自专栏数据分析

    如何用 esProc 将数据库表转储提速查询

    数据量大或者数据库繁忙都会导致数据库查询变慢,这时将数据用 esProc 导出存成文件再计算可以大幅提升性能。 INDelivered330032023-03-15703Laptop Air11099.991099.99Credit Card101 Tenth Rd, Seattle, WADelivered数据量:3 千万行两个样例查询 31' AND quantity > 1 AND total_amount < 1000 GROUP BY payment_method, order_status;查询时间 orders)SELECT * FROM ranked_ordersWHERE amount_rank <= 3ORDER BY product_name, amount_rank;查询时间 :63.22s现在用 esProc 将数据转储成文件加速查询

    67000编辑于 2025-04-23
  • 来自专栏weixuqin 的专栏

    redis 学习(10)-- redis 慢查询

    redis 慢查询 什么是慢查询 MySQL会记录下查询超过指定时间的语句,我们将超过指定时间的SQL语句查询称为慢查询,都记在慢查询日志里。 redis 慢查询查询发生在生命周期的第三阶段,是指仅仅执行命令阶段比较慢被称为慢查询。 客户端超时不一定是慢查询,但是慢查询时是客户端超时的一个可能因素。 n] 含义:获取慢查询列表中的慢查询信息 2. slowlog len 含义:获取慢查询队列长度 slowlog reset 含义:清空慢查询队列 慢查询运维经验 slowlog-max-len 不要设置过大 ,默认10ms,通常设置1ms 因为Redis的qps是万级别的,即每秒应能执行10000次请求 当一条命令执行1ms时,那每秒只能执行1000次请求 slowlog-log-slower-than 不要设置地过小,通常设置1000左右 需要理解命令的生命周期 定期持久化慢查询 因为慢查询只存储于内存中,一宕机慢查询数据就会丢失 通过定期slowlog get将慢查询数据转存到MySQL或者ES中

    1.2K40发布于 2019-06-02
  • 来自专栏reizhi

    安装Google插件Chrome Frame后IE8提速10

    ZDnet和ComputerWorld分别进行了测试,不过测试结果大同小异,在Sunspider JavaScript基准测试中,安装Chrome Frame后IE8的速度相比未安装该插件的IE8快10 IE7和IE8、Chrome 3进行了Sunspider JavaScript基准测试,根据测试结果,安装Chrome Frame后的IE7速度提升了近40倍,安装该插件的IE8速度提升了10

    1.1K30编辑于 2022-09-26
  • 来自专栏网络技术联盟站

    10个高级SQL写法,包括窗口函数、联合查询、交叉查询、递归查询

    本文将分享10个高级SQL写法,包括窗口函数、联合查询、交叉查询、递归查询等。 SELECT ROW_NUMBER() OVER(ORDER BY id) AS row_num, name, age FROM table_name WHERE row_num BETWEEN 1 AND 10 SELECT * FROM table1 CROSS JOIN table2;递归查询递归查询(Recursive Query)是指在查询中使用自身的查询语句,通常用于处理树形结构数据。6. SELECT * FROM table_name WHERE EXISTS(SELECT id FROM other_table WHERE table_name.id = other_table.id);10 SELECT * FROM table_name WHERE id IN (1,2,3,4);总结本文分享了10个高级SQL写法,包括窗口函数、联合查询、交叉查询、递归查询等。

    2.5K81编辑于 2023-06-05
  • 来自专栏量子位

    用上Pytorch Lightning的这六招,深度学习pipeline提速10倍!

    而就在最近,一个国外小哥就提出了一种建议: 在Pytorch lightning基础上,让深度学习pipeline速度提升10倍! 用他自己的话来说就是——“爬楼时像给了你一个电梯”。 提速这件事,就变得至关重要。 例如在2012年的时候,训练一个AlexNet,要花上5到6天的时间。 而现如今,只需要短短几分钟就可以在更大的数据集上训练更大的图像模型。 具体来说,就是当验证损失在预设的评估次数(在小哥的例子中是10次评估)后停止训练。 这样一来,不仅防止了过拟合的现象,而且还可以在几十个 epoch内找到最佳模型。 https://devblog.pytorchlightning.ai/how-we-used-pytorch-lightning-to-make-our-deep-learning-pipeline-10x-faster

    97120编辑于 2023-03-01
领券