首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏数据分析

    PostgreSQL并行查询:让特征计算提速5倍的方法

    1.2 并行查询的破局之道PostgreSQL 9.6+引入的并行查询机制,通过Gather节点协调多个worker进程并行扫描、聚合和连接表,理论上可将OLAP场景性能线性提升。 MVCC机制的交互可能引发意外的锁竞争二、并行查询核心原理解析2.1 执行计划树的重构魔法传统串行查询的执行计划是单一树状结构,而并行查询会在计划树中注入Gather或Gather Merge节点,形成 # 后台写触发阈值5%vm.overcommit_memory = 2 # 禁止内存过度分配vm.overcommit_ratio = 75 # 允许分配 <30秒5分钟1分钟长尾查询检测worker内存使用<256MB512MB30秒防止OOM共享缓冲区竞争率<5%20%1分钟通过buffers_backend计算CPU上下文切换<10万/秒50万/秒10 .*"} > 300 for: 10m labels: severity: critical annotations: summary: "并行查询执行超过5分钟"

    49230编辑于 2025-12-11
  • 来自专栏应用计算

    SPL轻量级文件存储提速查询实践

    把不再变化的历史数据存储成轻量级的 esProc SPL 列存文件,可以利用 SPL 语言的强大计算能力,跑出远超传统数据库的查询性能。 esProc SPL 很轻,直接嵌入应用就可以运行,在实现数据外置提速的同时,也不会让整个系统架构变得很复杂:这里准备了一套使用 SPL 外置数据提速查询的实践方法:第一篇 - 常规过滤及分组汇总第二篇 枚举字段条件过滤其中涉及的实例都是传统数据库很头疼的性能问题,比如 COUNT DISTINCT,外键 JOIN,大主子表关联(包括 EXISTS),枚举字段条件过滤(包括 IN)等,助您突破数据库查询性能瓶颈

    25410编辑于 2025-08-26
  • 来自专栏小七的各种胡思乱想

    Bert不完全手册5. 推理提速?训练提速!内存压缩!Albert

    个人感觉只是AB,BA的构造方式可能有些过于局部了 [e5ba8a6f50c78abae00ce88786ed667f.png] 整体效果 Albert在以上三点改良之外,在训练中也进行了一些优化,例如使用了 LAMB optimizer来加速训练等等,Albert总共放出了以下几种参数的模型,和BERT之间的效果对比如下~ [e28150b7990f5691963fa463a3872f60.png] [e5c0fc454c8f3d73a1f83964ae63de78 虽然albert xlarge参数压缩到1/5,但是训练更慢,推理也更慢 超越Bert:Albert xxlarge虽然只有12层,但是4倍的隐藏层还是让它的表现全面超越了Bert large,参数压缩到

    1.4K61编辑于 2022-05-15
  • 来自专栏路人甲Java

    Mybatis系列第12篇:掌握缓存为查询提速!

    (null)); //查询5:getList1 log.info("查询5 start"); log.info("查询5:getList1->{}", mapper.getList1 (null)); } } 注意上面的代码,代码中有5查询,第1次、第2次、第5查询调用的都是getList1,这个查询对应的mapper xml中的select元素的flushCache属性没有设置 4也会访问db,查询5去一级缓存中查询数据,因为查询1和2放入缓存的数据都被查询3清空了,所以导致查询5发现一级缓存中没有数据,也会访问db去获取数据。 , name=刘德华, age=50), UserModel(id=100, name=路人, age=30)] 大家认真看一下上面的输出,查询1/3/4/5访问了db,查询2从缓存中获取的,和我们上面分析的过程一致 db,第二次查询从二级缓存中获取了数据,第3和第4查询访问的是getList2,这个查询会清空二级缓存中的数据,直接去db中查询查询4执行完毕之后,二级缓存中只有第四次查询的数据,第5查询去getList1

    67220发布于 2020-02-18
  • 来自专栏bisal的个人杂货铺

    查询提速10倍的SQL性能优化场景方案介绍

    仅一行SQL,查询时间提速10倍!》通过不同的方案,讲解一个常见场景的优化,而且有些设计思路可以借鉴到实际的应用系统设计中,让其性能水准得到充分发挥。

    15010编辑于 2025-11-12
  • 来自专栏腾讯云大数据

    行业独家 | 腾讯云ES:PB日志查询提速,自治索引查询裁剪详解!

    作者:腾讯云大数据ES团队 背景概述 日志场景一般具有明显的冷热特点,比如保留7天的日志数据,但P90查询都集中在近12小时,并且在查询日志时一般使用索引前缀查询,比如filebeat-*,这种查询比指定索引名查询 而日志场景一般具有近热远冷的特性,例如刚上报的日志数据,往往读写频率较高,而随着时间推移,频率则慢慢降低,因此,通配查询的必要性并不强,如果能根据该特性进行查询剪枝,将能够极大的提升查询效率。 为了降低查询延迟,结合日志场景中查询行为冷热明显的特点,我们在自治索引上做了查询裁剪优化,在查询时,协调节点可根据查询条件中指定的时间范围,结合后备索引元数据中记录的时间范围信息,提前进行数据预过滤,降低分片发送请求的数量 ,使得PB级日志查询性能可提高3倍以上。 查询裁剪示意图 注:理论上,所需查询的时间范围与数据总的实际时间范围差距越大,查询裁剪优势越明显。 

    84320编辑于 2022-11-22
  • 《前端开发者必看:IndexedDB海量数据查询提速秘籍》

    但当数据量庞大时,索引的维护和查询效率会受到严峻考验。并非所有字段都适合建立索引。要依据实际查询需求,挑选那些在查询条件中频繁出现的字段。 当查询涉及多个字段时,复合索引能发挥巨大作用。以社交应用为例,若要查询特定城市且年龄在一定范围内的用户,单独为城市和年龄字段建立索引可能无法满足高效查询需求。 当查询特定时间段或类型的图片时,只需在相应的分片数据中查找,减少查询范围,提高查询速度。规范化数据结构能减少数据冗余,确保数据一致性,但在查询时可能需要进行多表关联,增加查询复杂度。 要根据具体应用场景和查询需求,灵活权衡两者的使用。在前端应用中设置内存缓存,将频繁查询的数据存储在内存中。当再次查询相同数据时,可直接从内存中获取,无需访问IndexedDB。 例如在一个天气应用中,用户经常查询当地天气信息,将最近一次查询结果缓存到内存中,下次查询时若数据未过期,即可快速返回结果,减少数据库查询次数,提高响应速度。

    34510编辑于 2025-07-04
  • 来自专栏小孟开发笔记

    to5 分词查询(多条件模糊查询

    p5 使用数组查询时,一个字段有多个搜索词时的写法 $option[‘question’]=[ [‘like’,’%’.’乐刷’.’%’], [‘like’,’%’.’666′.’%’], ‘or ’ ]; 多个字段同时匹配的查询方法 whereor闭包查询, list1=Db::name(‘user_biji’)->page(query)use(keyword){ query->whereor (‘title’,’like’,”% 未经允许不得转载:肥猫博客 » to5 分词查询(多条件模糊查询

    2.8K40编辑于 2023-02-20
  • 来自专栏PHP专享栏

    TP5 where数组查询(模糊查询--多个查询条件)

    查询条件就查询,多个查询条件,只要有查询,就增加一个查询条件 一、TP5.1版本 TP运算符 SQL运算符 例子 实际查询条件 eq = $map['id'] = array('eq',100); 等效于 '); id in(1,5,8) not in not in $map['id'] = array('not in','1,5,8'); id not in(1,5,8) and(默认) and $map between、 in 条件支持字符串或者数组,即下面两种写法是等效的: $map['id'] = array('not in','1,5,8'); $map['id'] = array('not in',array('1','5','8')); exp 表达式 上表中的 exp 不是一个运算符,而是一个综合表达式以支持更复杂的条件设置。 exp 不仅用于 where 条件,也可以用于数据更新,如: 官方查询语法:https://www.kancloud.cn/manual/thinkphp5/135182 版本 新增功能 5.0.9 比较运算增加闭包子查询支持

    7.3K21发布于 2019-10-29
  • 来自专栏C博文

    PostgreSQL窗口函数避坑指南:如何让复杂分析查询提速300%?

    ) 注意事项: 窗口函数需满足PARTITION BY可并行拆分 避免使用ROWS BETWEEN等依赖全局排序的框架 增大work_mem保障每个worker内存充足 4 实战案例:电商用户行为分析提速 LEAD(event_time) OVER (PARTITION BY session_id ORDER BY event_time) AS next_time, NTILE(5) OVER ) SELECT session_id, event_time, event_type, LEAD(event_time) OVER w AS next_time, NTILE(5) event_time); (3) 优化效果对比 指标 优化前 优化后 提升 执行时间 >30min 5.7s 316x 内存占用 32GB溢出 1.2GB 96%↓ I/O吞吐量 142GB 4.3GB 97%↓ 5 通过预计算和存储窗口函数结果,将实时计算转化为静态查询

    50610编辑于 2025-07-15
  • 来自专栏wordpress建站吧

    wordpress网站提速优化方案-加载速度提升5倍以上

    wordpress网站提速优化方案-加载速度提升5倍以上 近期发现很多的人使用wordpress来搭建自己的外贸网站,一般来说外贸类主题比较多的如avada,the7等主题很多人在用,但是最主要的问题是访问慢加载速度很慢 2、使用CDN加速,之前对cdn的加速效果并不太清楚,所以我们很多人并不太在意,但是因为一般外贸网站等首页图片非常多,一个网页打开大约2-5M的大小,总体比较大,但是我们的服务器大部分人使用的估计是1Mbps 本人亲测,在使用了CDN加速之后,原本打开时间25S左右的网站,目前基本在5s以内可以正常打开加载完成,一般来说大部分网站打开速度集中在3-5s的比较普遍也是用户基本能接受的范围。 总体来说提速效果还是非常的明显的。 当然这个对于页面较大比如好几兆的网页来说,提速效果还是比较明显的。建议网站加载太慢的可以尝试。

    2.1K10编辑于 2022-03-15
  • 来自专栏生活不止眼前的代码

    SpringDataJPA笔记(5)-子查询

    SpringDataJPA-子查询查询也是一种视图查询 在数据库实际使用的时候,为了一些业务的设计,有些时候我们需要映射视图到实体,这个时候就可以使用Subselect注解来标注一个视图类 STEP1 @Id private Long id; private String dogName; private String catName; } @Subselect 子查询的注解 ,里面是原生的sql语句 @Synchronize 需要同步的表,如果表变动了,查询视图会更新这个数据 备注:可以使用@Immutable 来标注这个类不可以修改,因为视图是可读不可写的,修改数据需要修改对应表的数据

    1.9K30发布于 2019-08-31
  • 来自专栏数据分析

    如何用 esProc 将数据库表转储提速查询

    数据量大或者数据库繁忙都会导致数据库查询变慢,这时将数据用 esProc 导出存成文件再计算可以大幅提升性能。 31' AND quantity > 1 AND total_amount < 1000 GROUP BY payment_method, order_status;查询时间 orders)SELECT * FROM ranked_ordersWHERE amount_rank <= 3ORDER BY product_name, amount_rank;查询时间 :63.22s现在用 esProc 将数据转储成文件加速查询。 这里过滤条件用到了 3 个字段,而全部读取也只有 5 个字段,所以性能只提升了 32%,如果字段数相差更多,性能差距会更明显。

    67000编辑于 2025-04-23
  • 来自专栏鲜枣课堂

    商用全面提速5G新通话进入普及阶段!

    5G新通话,探路多模态通信 5G新通话,顾名思义,是基于5G网络的一种新型通话业务。 从本质来说,5G新通话是5G VoNR业务的进一步升级,也被称为5G VoNR+。 一是5G-A的演进。5G-A提供了比5G更高的速率、更低的时延,让数据通道能够承载更多的信息,甚至为引入VR/AR奠定了基础,可以让通话体验更具沉浸感。 二是AIGC的爆发。 在多模态通信的趋势下,在两个重要机遇的助力下,5G新通话的落地速度将会变得更快,市场潜力巨大。 █ 5G新通话,带来通信新体验 我们不妨具体看看,5G新通话目前带来了哪些新业务。 例如,在工厂制造场景,一线员工可以佩戴5G安全帽(带有5G模组和摄像头等),借助5G新通话,把现场情况视频回传给后方专家。后方专家可以对视频进行同步标记,告诉员工如何进行处理,大幅提升工作效率。

    89210编辑于 2024-07-12
  • 来自专栏从码农的全世界路过

    提速 | 5G时代网站还需要加速么?

    看到标题, 你一定会说都已经 5G 时代了, 还要在网络提速上下功夫么? 答案是: 是的. 即使是国内良好的网络环境下, 做好网络提速, 也是可以提高用户体验以及缓解服务压力的. CDN 首先, 网络提速最快的方式是使用 CDN 加速, CDN的全称是Content Delivery Network, 即内容分发网络. 等静态资源网络传输链路长度, 提高响应速度; 服务快速定位, CDN 会尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节, 使内容传输的更快更稳定; 客户端缓存 合理利用客户端缓存也是网站提速中很重要一个环节

    91320编辑于 2022-06-20
  • 来自专栏Devops专栏

    5. Mybatis 单表查询 - resultMap标签 - 多条件查询 - 模糊查询

    5. Mybatis 单表查询 - resultMap标签 - 多条件查询 - 模糊查询 数据准备 # 数据准备 DROP TABLE IF EXISTS `user`; CREATE TABLE `user 如果数据库返回结果的列名和要封装的实体的属性名完全一致的话用 resultType 属性 在前面篇章中,我们编写查询的都是 select * from user 这样的查询,而查询的结果集字段名 都是对应 在前面的案例中,我们只进行了单条件查询,而如果存在多条件查询的话,在参数设置的时候也会特殊处理一下。 而多条件查询具有两种解决方案: 方案一:将多条件查询的参数都进行传参,此时多个参数就需要设置参数映射 方案二:将多条件查询的参数都封装到一个javabean的实体类 user 对象中,这样就只需要传递一个参数

    1.2K30编辑于 2022-01-17
  • 来自专栏量子位

    多花5美元提速500%,树莓派新品Zero 2 W发布

    根据官方信息,新品比原来的树莓派Zero快五倍,而价格只贵了5美元。 //arstechnica.com/gadgets/2021/10/raspberry-pi-zero-2-w-crams-pi-3-parts-into-the-same-tiny-board/ [5]

    1.3K10发布于 2021-11-05
  • 来自专栏自动化、性能测试

    FastAPI(5)- 查询参数 Query Parameters

    什么是查询参数? http://127.0.0.1:8000/get?name=xxx&age=18 http://127.0.0.1:8000/get? 后面跟着的一组或多组键值对,就是查询参数 FastAPI 的查询参数 当声明了不属于路径参数以外的其他函数参数时, FastAPI 会自动解析为查询参数 和路径参数不同,查询参数可以是可选非必填的,也可以具有默认值 Optional[str] = None): return {"item_id": item_id, "name": name} 不传 name 的请求结果 name 没传所以取默认值 None 查询参数类型自动转换 # 查询参数类型转换 @app.get("/items/{item_id}") async def read_item(item_id: str, q: Optional[str] = None, short "name": name, "sex": sex } 参数传枚举值的请求结果 不传 sex 的请求结果 不传 sex,会取 sex 的默认值:枚举类中的 unknown 的值 查询参数

    1.7K40发布于 2021-09-26
  • 来自专栏小孟开发笔记

    tp5+exp通用查询

    = Db::table('tp5_staff') -> where('name','exp','like "%张%"') -> select(); //转换后 8、区间查询,第三参数就是出现在SQL 条件中的字符串 //8、区间查询,第三参数就是出现在SQL条件中的字符串 $result = Db::table('tp5_staff') -> where('id','between',[1010,1020 ) -> select(); //转换后 9、集合查询,第三参数就是出现在SQL条件中的字符串 //9、集合查询,第三参数就是出现在SQL条件中的字符串 $result = Db::table('tp5 ::table('tp5_staff')->where('sex','exp','is not null')->select(); //转换后 11、不指定字段,使用函数拼接任意查询条件(tp5如何查询 hids字段中包含某个id的数据,hids字段中的值格式为 1,5,7 这种场景下的查询就特别好用 总结: 如果对原生SQL比较熟悉,用此方法,将所有查询条件归结到一种方式之下,便于记忆。

    60910编辑于 2024-08-07
  • 来自专栏数据和云

    SQL查询提速秘诀,避免锁死数据库的数据库代码

    于是,他查询住在加利福尼亚州的客户,把查询结果放到一个临时表中。 然后再来查询年收入高于 4 万美元的客户,把那些结果放到另一个临时表中。最后他连接这两个表,获得最终结果。 你是在逗我吧? 这应该用一次查询来完成,相反你对一个超大表查询两次。别犯傻了:大表尽量只查询一次,你会发现存储过程执行起来快多了。 5 小时后,IDENTITY 表的性能才下降了几个百分点,这不仅仅适用于 GUID,它适用于任何易失性列。 第一次查询用时 15 秒,包含 456197 个逻辑读取,第二次查询不到 1 秒就返回结果,只包含 5 个逻辑读取。 最后,我意识到这个查询违反了第 4 条规则:不要查询两次,但这也表明没有硬性规则。虽然我们在这里查询两次,但这么做是为了避免开销很大的表扫描。

    2K30发布于 2018-07-27
领券