- 综合排序
- 最热优先
- 最新优先
- 来自专栏深入浅出区块链技术
使用 TheGraph 完善Web3 事件数据检索
如下代码所示，我们可以监听Web3中的事件，但这需要处理很多情况。
2K10发布于 2020-11-03 - 来自专栏存储内核技术交流
常用的数据检索结构
哈希表 哈希表支持增、删、改、查操作，但是支持范围查找较差；因为哈希表特性，如果进行范围查找，一个范围的所有数据都必须经过哈希计算来查找对应的链表节点，这几乎是需要这个范围每一个数据都需要去哈希表中查找一次，性能比较差。 B+树 B+树支持增、删、改、查操作，并且很好支持范围查找，插入和查找性能均衡。 B+树的结构每个非叶子节点是数据索引，叶子节点是数据或者数据的指针。B+树叶子节点之间的连接可以实现高效的范围查询，例如innoDB存储引擎默认就是B+树结构. 传统的B+树读写相对比较均衡，但是当内存容
88530编辑于 2022-08-17 YashanDB 数据检索系统
设计一个高性能的 YashanDB 数据检索系统，可以从以下几个方面进行考虑：1. 数据模型设计- 数据分区：根据数据的特点，将数据分为多个分区，以提高检索效率。可以采用哈希分区、范围分区等方式。 - 索引优化：针对常用的查询条件，建立合适的索引结构（如 B-tree、LSM-tree 等），提高数据检索速度。- 数据压缩：使用高效的数据压缩算法，减少存储空间并提升 I/O 性能。2. 3. 负载均衡- 分布式架构：采用分布式架构，将请求和数据分散到多个节点上，通过负载均衡算法（如轮询、最少连接等）来平衡各节点的负载。 通过这些方面的设计，可以构建一个高性能的 YashanDB 数据检索系统，满足高效快速的数据访问需求。
19510编辑于 2025-10-04- 来自专栏Python爬虫实战
MySQL 从零开始：06 数据检索
所谓数据检索，就是前面所讲的”增删改查“的”查“。 注：本文使用的“行”指数据表中的“记录”，“列”指数据表中的“字段”。 本文介绍一些数据检索的其他高级使用方法。 1、数据准备 首先准备文需要的数据，如下图所示： ? 示例1，检索前3条记录： mysql> SELECT name FROM score LIMIT 3; +------+ | name | +------+ | 赵一 | | 钱二 | | 孙三 | + ------+ 3 rows in set (0.00 sec) 示例2，检索从偏移量为5的记录开始后3条记录： mysql> SELECT name FROM score LIMIT 5, 3; +- name FROM score LIMIT 3 OFFSET 5; +------+ | name | +------+ | 周六 | | 吴七 | | 郑八 | +------+ 3 rows in
1.2K30发布于 2018-08-31 - 来自专栏desperate633
第2-3课 检索数据检索列检索排序数据
这两课主要介绍sql中利用select语句对数据的简单检索。 下面分别讨论不同类型的检索
1.1K20发布于 2018-08-22 - 来自专栏Java技术栈
厉害了，ES 如何做到几十亿数据检索 3 秒返回！
二、需求说明 项目背景： 在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。 改进版本目标： 1. 3、关闭不需要查询字段的_source功能，不将此存储仅ES中，以节省磁盘空间。 (3) scroll 用于大结果集查询，缺陷是需要维护scroll_id 6、关于排序：我们增加一个long字段，它用于存储时间和ID的组合(通过移位即可)，正排与倒排性能相差不明显。 3、随机不同组合条件的检索，在各个数据量情况下表现如何。 4、另外SSD与机械盘在测试中性能差距如何。 六、生产效果 目前平台稳定运行，几十亿的数据查询100条都在3秒内返回，前后翻页很快，如果后续有性能瓶颈，可通过扩展节点分担数据压力。
2.1K10发布于 2019-11-22 - 来自专栏AI
GPT动作中的数据检索
GPT中一个常见的任务是数据检索。 使用API进行数据检索许多组织依赖第三方软件存储重要数据。 使用关系数据库进行数据检索组织使用关系数据库存储与业务相关的各种记录。这些记录可能包含有助于改进您的GPT响应的有用上下文。例如，假设您正在构建一个GPT来帮助用户了解保险理赔的状态。 使用向量数据库进行数据检索如果您希望为您的GPT配备最相关的搜索结果，您可能需要考虑将您的GPT与支持语义搜索的向量数据库集成，就像上面描述的那样。
1.8K10编辑于 2024-05-21 - 来自专栏01二进制
数据检索的玄铁剑——索引
数据检索的玄铁剑——索引 在现实生活中，如果你想使用新华字典查询一个字，在没有背下来具体页码的情况下，第一步多半是打开目录，根据拼音首字母快速的锁定目标数据所在的位置范围。 百度百科是从数据库的角度出发给出了一个索引的定义，维基百科也并没有为 CS 中的索引做一个概述，而是细分了多个领域来介绍 https://en.wikipedia.org/wiki/Index image-3 本质上，索引是一种用于提高数据检索效率的技术，它可以是一种复杂的数据结构（Hash，B Tree……），也可以就是一个简单的下标。 没有索引的查询 上班路上，你和一个长发姐姐擦肩而过，来到公司，惊喜的发现她竟然也在这栋楼上班，此时电梯停在了 3 楼，小姐姐出去之后你便继续乘到了 6 楼，虽然你一直写着代码，但此时你的心早已飞去了三楼 最后 在这篇文章中，我们聊了聊索引的相关知识，作为数据检索的玄铁剑，我们虽然没有聚焦于某些具体的索引，但是以上帝视角重新审视了索引的微观存在与宏观运用。
75720编辑于 2022-12-05 - 来自专栏bisal的个人杂货铺
Oracle要求顺序的top数据检索问题
关于数据检索顺序的问题，可以参考《Oracle数据顺序问题》。 t_order; ID CDATE ---------- ---------- 1 2021-01-04 2 2021-01-03 3 cdate desc; ID CDATE ---------- ---------- 1 2021-01-04 2 2021-01-03 3 | TABLE ACCESS FULL | T_ORDER | 1 | 15 | 3 (0)| 00:00:01 | 15 |00:00:00.01 2021-01-02 3 4 2021-01-01
1.4K20发布于 2021-01-08 软件系统的数据检索设计
软件系统的数据检索设计 随着业务量加大，数据检索量也会日益增多，为了减轻数据库压力，本系统采用ElasticSearch来实现数据检索功能。 Elasticsearch 是一个实时的分布式存储、搜索、分析的引擎，它可以近乎实时的存储、检索数据，本身扩展性很好，可以扩展到上百台服务器，处理PB级别(大数据时代)的数据，ElasticSearch的检索流程如下： 数据检索流程图 3) filesystem cache(os cache)中缓存的所有的index segment文件被fsync强制刷到磁盘os disk，当index segment被fsync强制刷到磁盘上以后，
36810编辑于 2024-08-22- 来自专栏栗霖积跬步之旅
第四章：数据检索
SELECT product_id FROM products 2.检索多个列： SELECT product_id, product_name, product_price FROM products 3.
689100发布于 2018-01-05 - 来自专栏大数据与微服务架构
ElasticSearch亿级数据检索深度优化
translog": { "flush_threshold_size": "1g", "sync_interval": "90s", "durability": "async" }, 2、减少Update次数 3、
56520编辑于 2022-12-05 - 来自专栏对线JAVA面试
ElasticSearch 亿级数据检索深度优化
- 需求说明 - 项目背景： 在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。 数据具体被存储到哪个分片上： shard = hash(routing) % number_of_primary_shards 默认情况下 routing参数是文档ID (murmurhash3),可通过 - 生产效果 - 目前平台稳定运行，几十亿的数据查询100条都在3秒内返回，前后翻页很快，如果后续有性能瓶颈，可通过扩展节点分担数据压力。
77010编辑于 2022-10-08 - 来自专栏大数据成神之路
ElasticSearch 亿级数据检索深度优化
- 需求说明 - 项目背景： 在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。 数据具体被存储到哪个分片上： shard = hash(routing) % number_of_primary_shards 默认情况下 routing参数是文档ID (murmurhash3),可通过 - 生产效果 - 目前平台稳定运行，几十亿的数据查询100条都在3秒内返回，前后翻页很快，如果后续有性能瓶颈，可通过扩展节点分担数据压力。
90150发布于 2021-09-22 - 来自专栏一个会写诗的程序员的博客
ElasticSearch 亿级数据检索深度性能优化
【目前生产已存储百亿数据，性能良好（但未使用分词功能）】 二、需求说明 项目背景： 在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据( 数据具体被存储到哪个分片上：shard = hash(routing) % number_of_primary_shards 默认情况下 routing参数是文档ID (murmurhash3),可通过 3、关闭不需要查询字段的_source功能，不将此存储仅ES中，以节省磁盘空间。 3、随机不同组合条件的检索，在各个数据量情况下表现如何。 4、另外SSD与机械盘在测试中性能差距如何。 六、生产效果 目前平台稳定运行，百亿的数据查询100条都在3秒内返回，前后翻页很快，如果后续有性能瓶颈，可通过扩展节点分担数据压力。
2.2K20编辑于 2021-12-16 - 来自专栏架构驿站
一文读懂 Agentic RAG 数据检索范式
在 Agentic RAG 体系结构中，不再被动地响应查询请求,而是主动地分析初步检索到的信息，并基于对任务复杂性的评估，战略性地选择最为合适的工具和方法进行进一步的数据检索和处理。 3、多模态集成（Multimodal Integration） 多模态集成（Multimodal Integration）技术将 LLM 和 RAG 的能力拓展到了文本之外的更广阔领域。 通过引入基于人工智能的智能代理，这些系统不再是被动响应查询请求，而是能够主动分析任务复杂性、评估当前信息状态，并战略性地选择最有效的工具和方法进行多步骤的数据检索和处理。 3、增强系统的可解释性和可控性 Agentic RAG 通过其逐步规划和决策过程，为系统的运作增加了可解释性和透明度。用户可以追溯代理的推理路径，了解系统是如何得出最终结论的。
85710编辑于 2024-11-01 如何利用YashanDB实现快速数据检索和处理
在当今数据驱动的业务环境中，快速而有效的数据检索和处理能力成为组织竞争力的关键。然而，传统数据库在处理性能、数据一致性和存储效率等方面面临挑战。 YashanDB不仅支持单机和分布式集群部署，还提供了多种存储结构和强大的查询优化功能，能够显著提高数据检索和处理的效率。 本文将深入探讨如何有效利用YashanDB的技术特性实现快速数据检索和处理，涵盖其体系架构、存储引擎、索引机制和SQL引擎等关键技术，旨在增强开发人员和DBA对YashanDB的理解与应用。 高效的数据检索与处理索引机制YashanDB支持多种索引类型，尤其是BTree索引，提供可见读和写一致性。索引的创建与管理是关键，合适的索引可以显著提高查询效率。 结论YashanDB通过其灵活的体系结构和强大的功能，为快速的数据检索和处理提供了良好的基础。数据存储、索引机制和优化器的配合使用，可以有效提高数据库查询效率和整体性能。
21910编辑于 2025-09-15- 来自专栏业余草
Elasticsearch 亿级数据检索案例与原理
二、需求说明 项目背景： 在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。 数据具体被存储到哪个分片上： shard = hash(routing) % number_of_primary_shards 默认情况下 routing参数是文档ID (murmurhash3),可通过 3、增加segments的刷新时间，通过上面的原理知道，segment作为一个最小的检索单元，比如segment有50个，目的需要查10条数据，但需要从50个segment分别查询10条，共500条记录 http://lucene.apache.org/core/7_4_0/core/org/apache/lucene/index/PointValues.html 3、关闭不需要查询字段的_source 六、生产效果 目前平台稳定运行，几十亿的数据查询100条都在3秒内返回，前后翻页很快，如果后续有性能瓶颈，可通过扩展节点分担数据压力。
1.6K10发布于 2019-11-04 优化YashanDB数据库的数据检索效率
对于YashanDB数据库，优化数据检索效率不仅能提升应用响应速度，还能增强用户体验和整体系统性能。本文将深入探讨优化YashanDB数据库数据检索效率的核心技术实践。1. 使用索引优化查询性能索引是加速数据检索的重要工具，它为特定列提供了一个查找机制，使查询时能够快速定位到相关数据。 3. 合理配置表空间和段管理表空间的设计和段管理直接影响数据库性能。YashanDB的段页式存储结构可以通过良好的空间管理提升数据检索效率。 在YashanDB中，可以通过以下手段来优化数据检索效率：利用MERGE语句一次性处理多条数据合并，以减少频繁的数据库交互。 总结提高YashanDB数据库中的数据检索效率涉及到多个方面，从索引的配置到存储结构的选择，再到优化器的使用等。
24110编辑于 2025-08-17企业如何利用YashanDB实现高效的数据检索
在当前数字化时代，企业面临着不断增加的数据量，对数据检索效率的要求也随之提高。如何优化数据检索速度，尤其在大数据场景下，成为了每个企业迫切需要解决的问题。 YashanDB作为一款高性能的数据库，通过其先进的架构和功能，为企业提供了高效的数据检索解决方案。本文将深入分析YashanDB在数据检索方面的核心技术点及其优势。 选择合适的存储结构，能够依据业务场景有效提升数据检索速度。智能的SQL优化引擎YashanDB的SQL引擎包含优化器，负责解析、验证和优化SQL查询，并生成执行计划。 通过合理地创建索引，可以极大地加快数据检索的速度。特别是当针对大数据表进行复杂查询时，索引的建立可以减少I/O操作的次数，从而有效提升响应时间。 希望本文能对企业在数据检索方面的优化实践起到借鉴作用，鼓励各企业在实际项目中深入应用YashanDB的核心技术和最佳实践。
18210编辑于 2025-07-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号