首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Loki

    巧用缓存加速Loki查询

    max_active_conns: <int> | default = 0 password: <string> enable_tls: <boolean> | default = false 缓存作用域 查询结果缓存 queryrange_config里面定义了Loki查询时关于缓存和切块的配置,缓存的相关配置如下 # 查询缓存开关,默认关闭 cache_results: <boolean> | default = results_cache: # 缓存配置块 cache: <cache_config> 日志索引缓存 index_queries_cache_config定义Loki的索引缓存,大部分情况下可以等同于日志label的查询缓存 大意是日志的入到Loki后,缓存的日志索引在原始日志flush进存储前都为有效的,以保证查询的缓存索引是正确的。 经过小白的测试,当前引入缓存对Loki的日志查询效果还是挺明显的,效果图如下,从P99的耗时数据来看,qeury_range接口的整体下降还是比较明显的。 ?

    3.8K30发布于 2021-05-13
  • 来自专栏C/C++

    StarRocks 查询加速1 - Bitmap

    与前缀索引的互补性:前缀索引是表的 “默认单索引”,仅对包含其前缀的过滤条件有效;当查询条件不匹配前缀索引时,可为对应列创建 Bitmap 索引,作为补充加速手段。3 使用场景1. 例如:查询 “性别 = 男”,若 50% 行符合条件,Bitmap 索引需加载位图并计算,但最终仍需扫描 50% 的 Page,效率不如直接扫描。2. 为什么适用于 “多个低基数列的组合查询”? 同时,导入数据时需为每个新值构建位图,频繁导入会显著降低性能;查询时若涉及多个值(如 “ID IN (100 个值)”),需加载 100 个位图,计算开销远超查询收益。5. 需在 “查询加速效果” 与 “额外成本” 间找到平衡,核心权衡维度如下:过滤效果优先:确保查询能过滤 99.9% 以上数据(即保留行数≤0.1%),这是 Bitmap 索引有效的前提。 查询索引加载开销:若查询条件涉及多个值(如 “城市 IN (10 个城市)”),需计算 “值数量 × 位图大小” 的加载成本,若成本超过全表扫描,则索引无效。6.

    36621编辑于 2025-09-16
  • 来自专栏深入浅出区块链技术

    使用Multicall 加速 DeFi查询调用

    如果我们想同时获取大量数据,用来在仪表板上显示或进行分析,我们必须调用合约的不同函数或者用不同参数调用相同函数, 这些都可能会导致查询时间很长。 为此,我们通过调用函数 getAccountLiquidity 来查询 Compound 协议。我们将使用 1,000 个不同的地址来获取所有地址的信息。 创建项目 安装依赖 为了进行测试,先创建一个 Node 项目,并将安装依赖项:ethers.js[6] 用于与区块链交互、money-legos[7]则用来以更简单的方式引用 ABI 和合约,以及 Multicall 来源:https://medium.com/better-programming/speed-up-your-defi-queries-using-multicall-d4cf652d8ab6 参考资料 ] Infura: https://infura.io/ [5] Multicall: https://github.com/cavanmflynn/ethers-multicall#readme [6]

    1.9K20发布于 2021-01-14
  • 来自专栏skyyws的技术专栏

    使用Impala hint加速SQL查询

    在使用Impala进行SQL查询的时候,我们经常会使用join来关联多个表进行查询,获取想要的结果。对于表的数量达到千万甚至上亿的时候,不同的join方式所造成的执行速度,可能差距非常大。 想直接了解如何加速SQL查询的可以直接跳过这里了。 Impala提供了broadcast和shuffle两种join的方式,那么这两种方式有什么区别呢? Impala在查询的时候,会根据每个表的统计信息,自动地选择相应的join方式。 table_name COMPUTE INCREMENTAL STATS [db_name.]table_name [PARTITION (partition_spec)] 如果用户没有及时地给表进行了统计信息操作或者查询的是

    2.1K20编辑于 2022-05-20
  • 来自专栏方亮

    探索ClickHouse——使用Projection加速查询

    KEYNES","MILTON KEYNES","A","A" "{40FD4DF2-5362-407C-92BC-566E2CCE89E9}","44500","1995-02-03 00:00","SR6 F","37","","RAINSBROOK DRIVE","SHIRLEY","SOLIHULL","SOLIHULL","WEST MIDLANDS","A","A" "{444D34D7-9BA6- DENMAN STREET","ROTHERHAM","ROTHERHAM","ROTHERHAM","SOUTH YORKSHIRE","A","A" "{709FB471-3690-4945-A9D6- 查询 SELECT toYear(date), district, town, avg(price), sum(price), count() FROM uk_price_paid GROUP BY 优化后查询 80441 rows in set. Elapsed: 0.170 sec.

    67030编辑于 2023-09-27
  • 来自专栏SmartSi

    Redis使用Pipeline加速查询速度

    这意味着通常情况下 Redis 客户端执行一条命令分为如下四个过程: 发送命令 命令排队 命令执行 返回结果 客户端向服务端发送一个查询请求,并监听Socket返回,通常是以阻塞模式,等待服务端响应。 6.

    2.2K30发布于 2019-08-07
  • 来自专栏站长的编程笔记

    TP6 时间查询

    前言 框架内置了常用的时间查询方法,参考官方文档:https://www.kancloud.cn/manual/thinkphp6_0/1037565 1、查询今天,昨天、某天的数据 查询今天的数据,下面两种查询方法等价 whereDay('create_time') whereTime('create_time', 'today') 查询昨天的数据 whereDay('create_time', 'yesterday ') 2、查询本周数据 查询方法 whereWeek('create_time') 3、查询今天、本周、本月、本季度、本年数据(搜索器) /** * 根据时间筛选数据 */ public function

    2K20编辑于 2023-01-04
  • 来自专栏一个爱吃西瓜的程序员

    学习SQL【6】-复杂查询

    1:子查询与视图 一言以蔽之,子查询就是一次性视图(SELECT语句)。 增加子查询的层数: 由于子查询的层数原则上没有限制,因此可以在子查询的FROM子句中再继续使用子查询语句。 2:子查询的名称 原则上子查询必须设定名称。为子查询设定名称时需要使用关键字AS。 3:标量子查询 标量就是单一的意思,而标量子查询则有一个特殊的限制,那就是必须而且只能返回1行1列的结果。 也就是说标量子查询是返回单一值的子查询。 3行结果,并不是标量子查询,而在WHERE子句中使用子查询时,必须是标量子查询

    1.2K90发布于 2018-04-04
  • 来自专栏公众号:咻咻ing

    6. Gremlin查询语言

    Gremlin是JanusGraph的查询语言,用于从图中检索数据和更新数据。 Gremlin是一种面向路径的语言,它能够简洁地表示复杂的图形遍历和多步操作。 Gremlin for SQL developers: 使用SQL查询数据的方式来学习Gremlin。 1. 遍历介绍 Gremlin查询是一系列从左到右的计算操作/函数。 下面通过第3章“入门”中讨论的Gods图来展示一个简单的祖父查询的示例。 总之,这些步骤构成了类似路径的遍历查询。 每个步骤都可以分解并显示其结果。 在构建更大,更复杂的查询时,这种构建遍历/查询的方式很有用。 对Gremlin的有效掌握为JanusGraph用户提供了快速查询底层图结构遍历的能力。

    4.5K20发布于 2019-08-07
  • 来自专栏全栈程序员必看

    6. SQL 多表查询

    SQL–数据库基础查询操作》。 前几节所总结的查询,都是基于单张表格进行的,如果单张表格的信息不足以达到查询的目的,就需要将他们组合到一起形成多张表格。 1. 使用UNION 和 UNION ALL 必须保证两个子查询,列的字段名和顺序以及数据类型一致。 2. 联结的应用 3.1 案例1 问题查询所有学生的学号,姓名,选课数,总成绩? 翻译成大白话 每个学生,选课数目和总成绩统计分析。 还是b.: 3.2 案例2 查询平均成绩大于85分的所有学生的学号,姓名,平均成绩? 翻译成大白话 求每个学生的平均成绩,选出大于85分的。 : 3.3 案例3 查询学生的选课情况,学号,姓名,课程号,课程名称?

    1.1K20编辑于 2022-08-23
  • 来自专栏随手写个文章

    数据预热与预计算加速查询

    数据预热与预计算加速查询:从缓存到StarTree的完整实践核心思想:预热/预计算的本质是用空间换时间——将高代价的计算提前完成,查询时直接命中结果,从而将查询延迟从秒级压缩到毫秒级甚至微秒级。 ASorder_count,AVG(amount)ASavg_order_valueFROMordersGROUPBYDATE(order_time),region,product_category;--创建索引加速查询 Pinot)<100ms秒级实时超大(PB)高实时多维OLAP预计算宽表<1s小时~天大中离线数据分析相似度匹配改写<10ms同缓存中中探索式查询加速推荐组合方案:展开代码语言:TXTAI代码解释实时OLAP 大盘:StarTree(Pinot)+Redis热点缓存离线数据报表:Spark预计算宽表+物化视图+Redis探索式分析加速:SQL相似度匹配+物化视图二次聚合通用业务查询:精确缓存→相似度匹配→物化视图 →原始表(逐级降级)总结数据预热与预计算加速是大规模数据分析系统的核心优化手段,其本质是在数据写入时多做工作,在查询时少做工作。

    8710编辑于 2026-04-11
  • 来自专栏mimic数据库

    MIMIC-IV 数据查询加速教程

    MIMIC-IV查询加速保姆级教程为什么查询会这么慢? 之前的文章我们提到过,需要对字段建立索引,查询才会快, 以下面的SQL为例select * from charteventswhere itemid=226512上面这个SQL在chartevents表查询 ,只有charttime建立了索引如何对想要查询的字段建立索引? 要对chartevents的itemid查询加速,就建立这个字段的索引。 这个过程时间比较长,2分钟左右,耐心等待我们现在看看文章开头的SQL查询速度, 9秒就完成了查询PostgreSQL 索引索引是加速搜索引擎检索数据的一种特殊表查询

    81010编辑于 2023-11-28
  • YashanDB数据索引设计与查询加速技巧

    本文将详细解析YashanDB索引设计的技术原理和查询加速技巧,助力高性能数据库实践。 查询加速技术YashanDB通过以下技术提升索引相关查询的执行效率:统计信息驱动的成本优化(CBO):优化器动态采集表、列及索引的统计信息,如行数、数据分布和索引树高度,基于代价模型选择最佳执行计划。 热数据和冷数据区分:利用LSC表的活跃切片(MCOL存储)处理热数据,实现动态更新;稳态切片(SCOL存储)针对冷数据进行高效压缩和索引加速查询。 对热点访问表或大表,结合列存表和索引加速技术实现多维度加速。利用YashanDB的自动选主和高可用机制,确保索引管理及查询的连续稳定。 同时,详细阐述了结合存储结构差异实施的查询加速技术,如向量化计算和并行执行。给出系统性索引设计及维护建议,保障业务查询的高效与稳定。

    24210编辑于 2025-09-04
  • 来自专栏机器学习/数据可视化

    sqlzoo练习6-子查询

    select in select部分的小测quiz,5个不同的字段信息 习题 Select the code that shows the name, region and population of

    48730发布于 2021-03-02
  • 来自专栏cwl_Java

    快速学习ES6-查询

    3.查询 我们从4块来讲查询: 基本查询 _source过滤 结果过滤 高级查询 排序 3.1.基本查询: 基本语法 GET /索引库名/_search { "query":{ "查询类型":{ "查询条件":"查询条件值" } } } 这里的query代表一个查询对象,里面可以有不同的查询属性 查询类型: 例如:match_all , match,term , range 等等 查询条件:查询条件会根据类型的不同,写法也有差异,后面详细讲解 3.1.1 查询所有(match_all) 示例: GET /heima/_search { "_index": "heima", "_type": "goods", "_id": "tmUBomQB_mwm6wH_EC1 无查询条件,直接过滤 如果一次查询只有过滤,没有查询条件,不希望进行评分,我们可以使用constant_score取代只有 filter 语句的 bool 查询

    1.2K10发布于 2020-02-11
  • 来自专栏Android干货园

    6个技巧加速你的gradle编译

    所以你同样也能用这些技巧去加速你的JAVA项目编译。 说实话,大部分你能够加速优化的地方在实际的构建过程中隐藏掉了。好吧,在我们的demo中,我们保存的大部分时间在消除开销,但是我们看看生成项目会发生什么?让我们看一下怎样能真正的加速gradle构建。 6.修复依赖 gradle允许你指定项目中依赖包的范围,在下面的例子中,任何一个gson 2的小版本都满足依赖约束。事实上,gradle尝试去找最新的版本,这就消耗了gradle的灵活性。 gradle不得不去网上查询哪个版本可用。 翻译自: https://medium.com/@shelajev/6-tips-to-speed-up-your-gradle-build-3d98791d3df9#.2wvd1b2i3

    2.8K30发布于 2021-09-10
  • 来自专栏三太子敖丙

    MySQL的索引是怎么加速查询的?

    索引到底是怎么加速查询的? 事实上,在你还没有执行 create index 语句的时候,MySQL 就已经创建索引了。 让我们从建表开始吧。 如果没有这棵 B+树,你要根据主键查询,比如 select * from student where id = 5; 对不起,数据是无序的,你只能全表扫描,犹如大浪淘沙。 2、二级索引 聚簇索引只能帮你加快主键查询,但是如果你想根据姓名查询呢? 对不起,看看上面这棵树你就知道,数据并没有按照姓名进行组织,所以,你还是只能全表扫描。 不想全表扫描,怎么办? 3、复合索引 继续,如果我还想根据姓名和年龄同时查询呢? 甚至,这么精妙的数据结构设计,难道就只能用来加速查询吗? 至少现在我能想到的,索引可以拿来干的事情,就至少有四种。 下次聊。 (吐血画图,此处应该点赞)

    3.1K10发布于 2020-02-24
  • 来自专栏捞月亮的小北

    6. Mybatis的各种查询功能

    6.1、查询一个实体类对象 /** * 根据用户id查询用户信息 * @param id * @return */ User getUserById(@Param("id") int id); <! <select id="getUserById" resultType="User"> select * from t_user where id = #{id} </select> 6.2、查询一个 list集合 ‍ /** * 查询所有用户信息 * @return */ List<User> getUserList(); <! ,不能使用实体类作为返回值,否则会抛出异常 ‍ TooManyResultsException;但是若查询的数据只有一条,可以使用实体类或集合作为返回值 6.3、查询单个数据 ‍ /** * 查询用户的总记录数 map集合 ①方式一 /** * 查询所有用户信息为map集合 * @return * 将表中的数据以map集合的方式查询,一条数据对应一个map;若有多条数据,就会产生多个map集合,此 时可以将这些

    22410编辑于 2023-12-01
  • 来自专栏私人订制

    Thinkphp6查询表达式

    比较查询 查询表达式支持大部分常用的SQL语句,语法格式如下: where('字段名','查询表达式','查询条件'); 在查询数据时,使用where()方法 Db::name('user')->where ('id',14)->find(); Db::name('user')->where('id,'=',14)->find(); 可以使用<>、>、<、>=、<=筛选出各种比较值的数据 区间查询 使用like 表达式进行模糊查询 Db::name('user')->where('email','like','zqx%')->find(); like表达式支持数组传递进行模糊查询 Db::name('user' find(); 使用whereNotLike()方法 Db::name('user')->whereNotLike('email','zqx%')->select(); between表达式可以用来进行区间查询 Db::name('user')->whereNull('pass')->select(); Db::name('user')->whereNotNull('pass')->select(); EXP查询

    1.3K20编辑于 2023-05-11
  • 来自专栏Python

    (6) MySQL慢查询日志的使用

    设置方法 使用慢查询日志里捕获 启用之前需要先进行一些设置 方法一:全局变量设置 设置慢查询日志的日志文件位置 set global slow_query_log_file = "D:/slow_log 慢查询日志记录的内容 Time Id Command Argument # Time: 2019-01-08T04:12:09.269315Z # User@Host User@Host:执行查询的用户和客户端IP Id:是执行查询的线程Id Query_time:SQL执行所消耗的时间 Lock_time:执行查询对记录锁定的时间 Rows_sent:查询返回的行数 Rows_examined:为了返回查询的数据所读取的行数 三. 如何分析慢查询日志 Usage: mysqldumpslow [ OPTS... ] [ LOGS... ] Parse and summarize the MySQL slow query log.

    96920编辑于 2022-03-26
领券