- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据生态
Elasticsearch 普通索引切换自治索引方案
创建新索引点击创建自治索引：进行如下配置：2. 切换写入索引将EMR各组件配置的ES索引名称由ranger_audits修改为：ranger_audits_new3.
28530编辑于 2024-10-30 - 来自专栏大数据生态
ES自治索引功能测试与介绍
ES集群配置 2核4G 2热2温节点 写入速度 1500条/s写入 每条2000词以上 动态滚动功能 动态滚动重要依据有两个，滚动周期和索引大小，其中之一满足条件后会立即滚动。 故障自动转移功能 自治索引在单点故障时会对索引进行滚动，避免阻塞写入。 持续不断对3号索引写入(写入速度几千文档/s) 当前正在写入的3号后备索引大小3.48G，文档数323550 2. 3. 15分钟后有新的后备索引滚动产生，此时3号索引仅4.37G数据，新增0.9G数据，新的4号索引2分钟新增的数据量就超过了。 结论:自治索引单点故障场景下，会拒绝大部分写入请求，导致大量写入失败。 直到新索引被滚动出来，写入恢复正常。 发生节点故障时，滚动出新的自治索引所需要的时间默认是5分钟。 时序裁剪 时序裁剪功能默认关闭，需要手动开启。 action.search.pre_filter.enabled": true } } 使用时序裁剪功能需要使用range查询指定时间范围，时序裁剪是分片级别的，每个分片根据包含的数据会有个时间范围，时序裁剪时只查询范围重叠的后备索引分片以及最新的后备索引
48740编辑于 2023-11-13 - 来自专栏腾讯云大数据
独家特性 | 腾讯云大数据ES：一站式索引全托管，自治索引大揭秘！
Datastream写入示意图 自治索引概述 我们针对目前业界在日志分析、运维监控等场景中使用ES遇到的索引分片设置难题、索引生命周期管理开销大、平台运维成本高等问题，自研了自治索引，作为一站式的索引全托管解决方案 自治索引与传统方案对比 基本概念 自治索引是基于Elasticsearch的Datastream内核进行增强实现的，内部关联了一个或多个backing index，即后备索引，我们可以把后备索引理解为自治索引的子索引 自治索引优势特性 整体而言，自治索引围绕索引从 索引创建-数据写入-分片调优-查询-运维管理等索引使用全流程操作，均提供了相应的特性帮助我们更好进行使用与管理。 优势特性1：高效创建与管理 自治索引的创建和管理相较原生索引以及Datastream更为高效，自治索引内置索引生命周期管理策略、索引模版等，我们只需通过一条命令，即可完成所有配置，无需额外管理ILM、索引模版以及别名等的成本 业务无感知，全部由自治索引自动完成。
94310编辑于 2022-11-18 - 来自专栏AustinDatabases
PostgreSQL 性能优化 短查询 覆盖索引，前缀索引，索引和排序 （9）
这个系列已经写到了第9篇，上一篇讲述了索引的一些基础使用的方式，这一篇将继续这个系列，这篇还是针对短查询OLTP的查询中的一些索引的方式和一些有意思的地方进行讲述。 基于查询中的一个不能被回避的问题，就是索引使用中的覆盖索引，提到覆盖索引的这个问题，其实最大的优势就是不用回表，在查询中可以从索引直接提取数据，而不必在通过索引的标记的物理位置在回到原表在将原表的数据导入到内存 那么我下次建立索引的时候直接建立覆盖索引不就好了，覆盖索引的该怎么用，实际上覆盖索引的使用是有条件的，覆盖索引也有平衡点和性价比，数据库中最重要的是空间换时间，那么覆盖索引必然会增加数据空间的使用，因为实际上你将数据多存了一份 1 我们建立idx_name_booking 后来分析查询是否可以使用索引 很明显我们的查询中在建立了第一个索引后，并未走索引。 2 我们建立 idx_name_booking_like 后，可以看到的确是走了索引，那么 实际上我们针对LIKE类的需求的索引就需要使用第二种索引的建立的方式。
1.9K20编辑于 2022-04-05 - 来自专栏DotNet NB && CloudNative
.NET 9 —LINQ — 新的索引方法
在.NET 9中，引入了新的LINQ方法Index（即Index<TSource>(IEnumerable<TSource>)）。借助这个方法，你可以轻松提取可枚举对象的隐式索引。 在之前的一篇文章中，我展示了.NET 9中新增的三个LINQ方法：CountBy、AggregateBy和Index。 Index方法 Index方法返回一个元组（IEnumerable<(int Index, TSource Item)>），其中第一个值是索引，第二个值是集合中的元素。 newCity("Rome","Italy"), newCity("Amsterdam","Netherlands") }; 使用Index方法，我们可以通过foreach循环轻松获取列表的索引和元素 Index方法允许你以一种简单且高效的方式返回列表中各项的索引位置。将该方法与其他实现相同功能的方法进行比较时，性能非常相似，但它仍稍胜一筹。
41200编辑于 2025-02-18 - 来自专栏话梅糖のAndroid学习
什么是自治系统（AS）？
什么是自治系统（AS）？ 自治系统（AS，Autonomous System）是由一个独立的组织机构（如大学、企业或互联网服务提供商）所管辖和控制的一组网络集合。 邮政系统的比喻 为了更好地理解，我们可以把整个互联网想象成全球的邮政系统，那么一个自治系统（AS）就相当于一个国家的邮政系统，比如“中国邮政”或“美国邮政服务”。 这个过程只在中国邮政这个“自治系统”内部完成。 国际邮件（外部网关协议 - EGP/BGP）: 当你需要从中国寄一封信到美国时，中国邮政（一个AS）并不需要知道美国国内的每一条具体街道。 它只需要知道如何把这封信送到美国邮政（另一个AS）的“边境口岸”（即自治系统边界路由器 ASBR）。
64310编辑于 2025-07-19 - 来自专栏腾讯云大数据
行业独家 | 腾讯云ES：PB日志查询大提速，自治索引查询裁剪详解！
作者：腾讯云大数据ES团队 背景概述 日志场景一般具有明显的冷热特点，比如保留7天的日志数据，但P90查询都集中在近12小时，并且在查询日志时一般使用索引前缀查询，比如filebeat-*，这种查询比指定索引名查询 search的搜索操作，搜索任务会被分为两个阶段执行，即query then fetch，这里需要两个阶段才能完成搜索的原因在于，通过search执行搜索任务，在查询的时候无法提前知道文档位于哪些分片，因此索引的所有分片 分布式搜索流程 查询裁剪概述 从对search流程的分析来看，我们发现耗时主要集中在query阶段，由于索引前缀查询匹配到的索引的分片数量大，遍历这些分片的网络请求总耗时很高。 为了降低查询延迟，结合日志场景中查询行为冷热明显的特点，我们在自治索引上做了查询裁剪优化，在查询时，协调节点可根据查询条件中指定的时间范围，结合后备索引元数据中记录的时间范围信息，提前进行数据预过滤，降低分片发送请求的数量 欢迎大家使用腾讯云ES与自治索引～ 您可能需要的链接； 腾讯云ES：一站式索引全托管，自治索引独家特性大揭秘！ 腾讯云ES：自治索引常见使用方式介绍 腾讯云ES：一站式接入，数据链路可视化重磅来袭！
83620编辑于 2022-11-22 - 来自专栏机器学习/数据可视化
hive之路9-hive索引和视图
本文中主要是介绍了hive中索引和视图的相关操作。
84920发布于 2021-03-02 - 来自专栏腾讯云大数据
腾讯云 ES 重磅推出，一站式全托管的自治索引终于来了！
为了解决这些问题，腾讯云Elasticsearch自研了自治索引，自治索引是针对日志分析、运维监控等时序数据场景的一站式索引管理解决方案，您只需要通过简单的步骤创建自治索引，读写请求时指定单个自治索引对象即可 优势与特性 易使用：只需一条命令即可完成自治索引的创建，读写操作仅需关注单个自治索引，内置索引滚动、冷热数据搬迁、过期删除等功能，您只需在自治索引上配置即可，无需额外管理ILM策略和索引模版的成本。 写入到自治索引中的每个文档要求包含一个时间类型的字段，时间类型字段名称需与自治索引定义里的时间字段名称一致。如果创建自治索引时未指定时间字段名称，默认为@timestamp。 基本概念 自治索引与后备索引 自治索引通过Elasticsearch DataStream内核增强实现，内部关联一个或多个后备索引，后备索引即普通的Elasticsearch索引，后备索引处于隐藏状态， 滚动更新 滚动更新将为自治索引新建一个新的后备索引，当前支持以下两种滚动方式： （1）自动滚动更新：通过自治索引内置功能实现，当满足自治索引配置的滚动周期条件或者当前提供写入的后备索引所在节点故障时，自动滚动新的后备索引
73210编辑于 2022-06-08 - 来自专栏后端从入门到精通
B+树索引使用(9)分组、回表、覆盖索引（二十一)
索引排序之所以快，因为b+树里面的双向链表和单向链表数据结构原本就是按索引从小到大排序好的，所以直接取出数据就好，不需要在磁盘和内存中排序。 用主键id查询聚簇索引的b+树，这时候的id不是相连的，所以是随机I/O，效率比顺序I/O低很多。 所以会使用两个索引，二级索引的时候顺序I/O，效率高很多，聚簇索引的时候随机I/O效率低很多。 那我们什么时候用全表扫描的方式，什么时候用二级索引+回表的聚簇索引方式呢？ 索引覆盖 以我们的idx_name_birthday_phone联合索引为例，当我们查询的列只有这三个索引的时候，SELECT name, birthday, phone FROM person_info 是name，birthday，phone和主键，这时候查询的值已经从二级索引b+树子叶查询到了，所以不需要在用主键聚簇索引去另一个b+树回表，所以即使我们需要查询其他列非索引数据时候，也不鼓励用*去查询
69631编辑于 2022-07-26 - 来自专栏Postgresql源码分析
Oracle自治事务详解
相关 《Oracle11g自治事务手册》 1 Oracle自治事务是什么？ func1() insert 1 func2() PRAGMA AUTONOMOUS_TRANSACTION; -- 自治事务定义，表示当前块为自治事务 2 Oracle自治事务实例 1 非自治事务 drop table t; create table t ( msg varchar2(25) ); create or replace procedure SYS@orcl11g>select * from t; MSG --------------------------- Commit Block 3 不显示提交/回滚的自治事务 Oracle自治事务必须 自治事务完全脱离外层事务，外层事务回滚、savepoint回滚都无法影响自治事务。
1.3K30编辑于 2022-09-19 - 来自专栏云计算D1net
云计算如何实现自治系统
企业需要为获得更多自治IT资源做好准备。 由于各国发布了与冠状病毒疫情相关的出行禁令，很多企业被迫更多使用云计算服务以开展业务。 自治系统是利用机器学习和人工智能的高度自动化系统 全球专业服务商Genpact公司首席数字官Sanjay Srivastava说：“企业流程正在从自动化过渡到自治。 人们关于自治系统的一个误解是，它们可以自动执行所有操作。 Frank说，“企业经常需要花费时间在这些自治系统上进行设置，以确保它们正常运行，并且还需要意识到它们在其功能上的局限性以及潜在的弊端。 企业及其IT部门需要非常清楚采用自治系统的方式。 如果正确实施，自治功能可以将这些优势提升到新的水平。但是，要实现这一目标，企业可能需要在人才和培训方面进行更多的投资。 自治系统往往非常复杂，因此理解和考虑与目标用例相关的所有问题非常重要。
1.5K10发布于 2020-06-17 - 来自专栏数据和云
自治时代:Oracle 公有云离我们很近，自治数据库离我们还远
Andy Mendelsohn的自治未来 在数据库大会上，当一段 Andy Mendelsohn 先生的视频播放之后，『自治数据库』的基调已经非常明确，Oracle 已经将数据库的研发全面转向了自治时代 Oracle 的第一个自治数据库产品，是『自治数据仓库』，早已在公有云上提供，其敏捷和性能为很多用户广泛信赖： ? 很多人更关心的是基于 OLTP 的自治数据库，据 Andy 透漏，同样在 8月，自治事务处理数据库即将推出，注意，在中国的云中心是不会看到的，自治数据库要在中国数据中心上线，可能至少要等到 2019 年 Oracle自治数据库云初体验 Oracle 已经在公有云上提供了自治的数据仓库，简单来说，自治的数据仓库可以将数据库的安装、部署、备份等基础工作，全部自动、简化完成，极大的降低了技术工作量。 自治的云数据库极大提高了服务提供的过程，简化了 IT 基本操作。这就是云时代的变革。 下一节我们再继续探索，云上的自治数据库。
98840发布于 2018-08-09 - 来自专栏斑斓
自治的对象才是好对象
这时的对象绝不是一个愚笨的数据提供者，它学会了如何根据自己拥有的数据来判断请求的响应方式、行为的执行方式，这就是所谓的对象的“自治”。 我在《领域驱动战略设计实践》中提及了限界上下文的自治特性，事实上，从更小的粒度来看，对象仍然需要具备自治的这四个特性，即： 最小完备 自我履行 稳定空间 独立进化 最小完备 如何来理解对象的“最小完备” 稳定空间 一个自治的对象具有稳定空间，使其具备抵抗外部变化的能力。要做到这一点，就需要处理好外部对象与自治对象之间的依赖关系。方法就是遵循“高内聚松耦合”原则来划分对象的边界。 独立进化 稳定空间针对的是外部变化对自治对象产生的影响，独立进化关注的则是自治对象自身变化对外部产生的影响。 这就将一个自治对象分为了内外两个世界，合理的封装是包裹在自治对象上的一层保护膜，对外公开的接口是自治对象与外部世界协作的唯一通道。
83840发布于 2019-05-15 - 来自专栏学习有记
阅读查询计划：SQL Server 索引进阶 Level 9
这通常是访问堆或索引。你不会看到这里使用的单词表;相反，您将看到聚簇索引扫描或堆扫描。这是首先看看哪些索引，如果有的话，正在使用。 图形查询计划中的每个图标代表一个操作。 在上面的示例中，建议的索引（以绿色显示并按空间要求截断）建议在联系人表的后缀列上使用非聚簇索引; 包括标题，名字，中间名和姓氏的列。 新的非聚集索引（索引键为Suffix）具有“WHERE Suffix ='Jr.”条目聚集在一起; 因此，检索数据所需IO的减少。 这些请求将受益于ContactID上的索引。 无论何时索引一个外键列，总是问自己，如果有的话，列应该作为包含列添加到索引中。在我们的例子中，我们只有一个查询，而不是一系列的查询来支持。 图形计划可能会建议一个索引，以提高查询的性能。 了解查询计划将帮助您评估和优化索引设计。 ----
1.5K60发布于 2018-07-19 - 来自专栏腾讯大数据的专栏
腾讯大数据平台自治能力探索
这样的数据平台实质上是一个自动驾驶、自我保护和自我修复的自治型大数据平台。自治这种概念实际上已经被业界很多头部公司所认可，这也是我们腾讯下一代大数据平台目前在探索的方向之一。 今天的文章会聊一聊腾讯大数据平台在自治能力建设上的一些实践经验。 或者从外部的经验中学习，发展出判断能力，能辅助数据平台的使用者或者维护者开展日常工作，这时数据平台可以认为是半自治的；第三阶段：它依据判断，调动数据平台进行自我修复和优化，第四阶段，理想中的自治状态，这要求前几个阶段的能力全面主动干预到大数据平台各个组件的运行状况中 缩短数据处理链路）、必要的预处理（防止数据暴增、降低计算代价）等；从自治本身来思考，自治首先是要把基础（也就是数据采集存储模块）夯实，完备的指标集是实现自治的大前提，这是一个长期不断完善的过程；在此之上 ，自治的核心是专家经验的沉淀，无论是规则、数据标注、还是用于有监督学习的数据准备，均是这个核心的外化。
1.9K60编辑于 2021-12-31 - 来自专栏数据库新发现
自治数据库：体验 Oracle 的自治数据仓库云环境，ADWC 极致的性能优化
原文链接：http://www.enmotech.com/web/detail/1/535/1.html Oracle 已经在公有云上提供了自治的数据仓库，简单来说，自治的数据仓库可以将数据库的安装、部署 在菜单中，选择 『Autonomous Database Warehouses』,进入 自治数据库 管理页面，选择『Create Autonomous Database Warehouses』,即可进入 自治的云数据库极大提高了服务提供的过程，简化了 IT 基本操作。这就是云时代的变革。 下一节我们再继续探索，云上的自治数据库。 上一篇：自治数据库：Oracle 自治事务处理数据库 OLTP 型将于 2018年8月推出 下一篇：INS-30131 - Oracle 11.2.0.4 和 12c 安装遇到的临时位置权限解决
1.4K50发布于 2018-09-05 - 来自专栏吴伟祥
9个基于Java的搜索引擎框架 转
那么如果在你自己开发的网站系统中需要能让用户搜索一些重要的信息，并且能以结构化的结果展现给用户，下面分享的这9款Java搜索引擎框架或许就可以帮助到你了。 1、Java 全文搜索引擎框架 Lucene 毫无疑问，Lucene是目前最受欢迎的Java全文搜索框架，准确地说，它是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。 官方网站：http://lucene.apache.org/ 2、开源Java搜索引擎Nutch Nutch 是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。 / 3、分布式搜索引擎 ElasticSearch ElasticSearch就是一款基于Lucene框架的分布式搜索引擎，并且也是一款为数不多的基于JSON进行索引的搜索引擎。 官方网站：http://www.Semanticmetadata.net/lire/ 9、全文本搜索引擎 Egothor Egothor是一个用Java编写的开源而高效的全文本搜索引擎。
4.4K40发布于 2018-08-14 - 来自专栏云深之无迹
巴塞罗那自治大学.3D视觉课件.3
巴塞罗那自治大学，3D视觉课件.1 巴塞罗那自治大学.3D视觉课件.2 我还是一句话，自己推导一些这些定理，过了理论关，再去看代码实现，永远都是那么割裂，这不是一个学习的好法子。
46120编辑于 2022-11-29 - 来自专栏云深之无迹
巴塞罗那自治大学，3D视觉课件.1
上一篇是中文的，这一篇的英文的，各有侧重点。 https://nerf-w.github.io/ https://grail.cs.washington.edu/rome/
57720编辑于 2022-11-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号