- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据生态
Elasticsearch 普通索引切换自治索引方案
创建新索引点击创建自治索引：进行如下配置：2. 切换写入索引将EMR各组件配置的ES索引名称由ranger_audits修改为：ranger_audits_new3.
28230编辑于 2024-10-30 - 来自专栏大数据生态
ES自治索引功能测试与介绍
ES集群配置 2核4G 2热2温节点 写入速度 1500条/s写入 每条2000词以上 动态滚动功能 动态滚动重要依据有两个，滚动周期和索引大小，其中之一满足条件后会立即滚动。 故障自动转移功能 自治索引在单点故障时会对索引进行滚动，避免阻塞写入。 持续不断对3号索引写入(写入速度几千文档/s) 当前正在写入的3号后备索引大小3.48G，文档数323550 2. 3. 15分钟后有新的后备索引滚动产生，此时3号索引仅4.37G数据，新增0.9G数据，新的4号索引2分钟新增的数据量就超过了。 结论:自治索引单点故障场景下，会拒绝大部分写入请求，导致大量写入失败。 直到新索引被滚动出来，写入恢复正常。 发生节点故障时，滚动出新的自治索引所需要的时间默认是5分钟。 时序裁剪 时序裁剪功能默认关闭，需要手动开启。 action.search.pre_filter.enabled": true } } 使用时序裁剪功能需要使用range查询指定时间范围，时序裁剪是分片级别的，每个分片根据包含的数据会有个时间范围，时序裁剪时只查询范围重叠的后备索引分片以及最新的后备索引
48540编辑于 2023-11-13 - 来自专栏腾讯云大数据
独家特性 | 腾讯云大数据ES：一站式索引全托管，自治索引大揭秘！
Datastream写入示意图 自治索引概述 我们针对目前业界在日志分析、运维监控等场景中使用ES遇到的索引分片设置难题、索引生命周期管理开销大、平台运维成本高等问题，自研了自治索引，作为一站式的索引全托管解决方案 自治索引与传统方案对比 基本概念 自治索引是基于Elasticsearch的Datastream内核进行增强实现的，内部关联了一个或多个backing index，即后备索引，我们可以把后备索引理解为自治索引的子索引 自治索引优势特性 整体而言，自治索引围绕索引从 索引创建-数据写入-分片调优-查询-运维管理等索引使用全流程操作，均提供了相应的特性帮助我们更好进行使用与管理。 优势特性1：高效创建与管理 自治索引的创建和管理相较原生索引以及Datastream更为高效，自治索引内置索引生命周期管理策略、索引模版等，我们只需通过一条命令，即可完成所有配置，无需额外管理ILM、索引模版以及别名等的成本 业务无感知，全部由自治索引自动完成。
94010编辑于 2022-11-18 - 来自专栏话梅糖のAndroid学习
什么是自治系统（AS）？
什么是自治系统（AS）？ 自治系统（AS，Autonomous System）是由一个独立的组织机构（如大学、企业或互联网服务提供商）所管辖和控制的一组网络集合。 邮政系统的比喻 为了更好地理解，我们可以把整个互联网想象成全球的邮政系统，那么一个自治系统（AS）就相当于一个国家的邮政系统，比如“中国邮政”或“美国邮政服务”。 这个过程只在中国邮政这个“自治系统”内部完成。 国际邮件（外部网关协议 - EGP/BGP）: 当你需要从中国寄一封信到美国时，中国邮政（一个AS）并不需要知道美国国内的每一条具体街道。 它只需要知道如何把这封信送到美国邮政（另一个AS）的“边境口岸”（即自治系统边界路由器 ASBR）。
60410编辑于 2025-07-19 - 来自专栏腾讯云大数据
行业独家 | 腾讯云ES：PB日志查询大提速，自治索引查询裁剪详解！
作者：腾讯云大数据ES团队 背景概述 日志场景一般具有明显的冷热特点，比如保留7天的日志数据，但P90查询都集中在近12小时，并且在查询日志时一般使用索引前缀查询，比如filebeat-*，这种查询比指定索引名查询 search的搜索操作，搜索任务会被分为两个阶段执行，即query then fetch，这里需要两个阶段才能完成搜索的原因在于，通过search执行搜索任务，在查询的时候无法提前知道文档位于哪些分片，因此索引的所有分片 分布式搜索流程 查询裁剪概述 从对search流程的分析来看，我们发现耗时主要集中在query阶段，由于索引前缀查询匹配到的索引的分片数量大，遍历这些分片的网络请求总耗时很高。 为了降低查询延迟，结合日志场景中查询行为冷热明显的特点，我们在自治索引上做了查询裁剪优化，在查询时，协调节点可根据查询条件中指定的时间范围，结合后备索引元数据中记录的时间范围信息，提前进行数据预过滤，降低分片发送请求的数量 欢迎大家使用腾讯云ES与自治索引～ 您可能需要的链接； 腾讯云ES：一站式索引全托管，自治索引独家特性大揭秘！ 腾讯云ES：自治索引常见使用方式介绍 腾讯云ES：一站式接入，数据链路可视化重磅来袭！
83620编辑于 2022-11-22 - 来自专栏腾讯云大数据
腾讯云 ES 重磅推出，一站式全托管的自治索引终于来了！
为了解决这些问题，腾讯云Elasticsearch自研了自治索引，自治索引是针对日志分析、运维监控等时序数据场景的一站式索引管理解决方案，您只需要通过简单的步骤创建自治索引，读写请求时指定单个自治索引对象即可 优势与特性 易使用：只需一条命令即可完成自治索引的创建，读写操作仅需关注单个自治索引，内置索引滚动、冷热数据搬迁、过期删除等功能，您只需在自治索引上配置即可，无需额外管理ILM策略和索引模版的成本。 写入到自治索引中的每个文档要求包含一个时间类型的字段，时间类型字段名称需与自治索引定义里的时间字段名称一致。如果创建自治索引时未指定时间字段名称，默认为@timestamp。 基本概念 自治索引与后备索引 自治索引通过Elasticsearch DataStream内核增强实现，内部关联一个或多个后备索引，后备索引即普通的Elasticsearch索引，后备索引处于隐藏状态， 滚动更新 滚动更新将为自治索引新建一个新的后备索引，当前支持以下两种滚动方式： （1）自动滚动更新：通过自治索引内置功能实现，当满足自治索引配置的滚动周期条件或者当前提供写入的后备索引所在节点故障时，自动滚动新的后备索引
73010编辑于 2022-06-08 - 来自专栏Postgresql源码分析
Oracle自治事务详解
相关 《Oracle11g自治事务手册》 1 Oracle自治事务是什么？ func1() insert 1 func2() PRAGMA AUTONOMOUS_TRANSACTION; -- 自治事务定义，表示当前块为自治事务 2 Oracle自治事务实例 1 非自治事务 drop table t; create table t ( msg varchar2(25) ); create or replace procedure SYS@orcl11g>select * from t; MSG --------------------------- Commit Block 3 不显示提交/回滚的自治事务 Oracle自治事务必须 自治事务完全脱离外层事务，外层事务回滚、savepoint回滚都无法影响自治事务。
1.3K30编辑于 2022-09-19 - 来自专栏云计算D1net
云计算如何实现自治系统
企业需要为获得更多自治IT资源做好准备。 由于各国发布了与冠状病毒疫情相关的出行禁令，很多企业被迫更多使用云计算服务以开展业务。 自治系统是利用机器学习和人工智能的高度自动化系统 全球专业服务商Genpact公司首席数字官Sanjay Srivastava说：“企业流程正在从自动化过渡到自治。 人们关于自治系统的一个误解是，它们可以自动执行所有操作。 Frank说，“企业经常需要花费时间在这些自治系统上进行设置，以确保它们正常运行，并且还需要意识到它们在其功能上的局限性以及潜在的弊端。 企业及其IT部门需要非常清楚采用自治系统的方式。 如果正确实施，自治功能可以将这些优势提升到新的水平。但是，要实现这一目标，企业可能需要在人才和培训方面进行更多的投资。 自治系统往往非常复杂，因此理解和考虑与目标用例相关的所有问题非常重要。
1.5K10发布于 2020-06-17 - 来自专栏数据和云
自治时代:Oracle 公有云离我们很近，自治数据库离我们还远
Andy Mendelsohn的自治未来 在数据库大会上，当一段 Andy Mendelsohn 先生的视频播放之后，『自治数据库』的基调已经非常明确，Oracle 已经将数据库的研发全面转向了自治时代 Oracle 的第一个自治数据库产品，是『自治数据仓库』，早已在公有云上提供，其敏捷和性能为很多用户广泛信赖： ? 很多人更关心的是基于 OLTP 的自治数据库，据 Andy 透漏，同样在 8月，自治事务处理数据库即将推出，注意，在中国的云中心是不会看到的，自治数据库要在中国数据中心上线，可能至少要等到 2019 年 Oracle自治数据库云初体验 Oracle 已经在公有云上提供了自治的数据仓库，简单来说，自治的数据仓库可以将数据库的安装、部署、备份等基础工作，全部自动、简化完成，极大的降低了技术工作量。 自治的云数据库极大提高了服务提供的过程，简化了 IT 基本操作。这就是云时代的变革。 下一节我们再继续探索，云上的自治数据库。
98440发布于 2018-08-09 - 来自专栏斑斓
自治的对象才是好对象
这时的对象绝不是一个愚笨的数据提供者，它学会了如何根据自己拥有的数据来判断请求的响应方式、行为的执行方式，这就是所谓的对象的“自治”。 我在《领域驱动战略设计实践》中提及了限界上下文的自治特性，事实上，从更小的粒度来看，对象仍然需要具备自治的这四个特性，即： 最小完备 自我履行 稳定空间 独立进化 最小完备 如何来理解对象的“最小完备” 稳定空间 一个自治的对象具有稳定空间，使其具备抵抗外部变化的能力。要做到这一点，就需要处理好外部对象与自治对象之间的依赖关系。方法就是遵循“高内聚松耦合”原则来划分对象的边界。 独立进化 稳定空间针对的是外部变化对自治对象产生的影响，独立进化关注的则是自治对象自身变化对外部产生的影响。 这就将一个自治对象分为了内外两个世界，合理的封装是包裹在自治对象上的一层保护膜，对外公开的接口是自治对象与外部世界协作的唯一通道。
83440发布于 2019-05-15 - 来自专栏腾讯大数据的专栏
腾讯大数据平台自治能力探索
这样的数据平台实质上是一个自动驾驶、自我保护和自我修复的自治型大数据平台。自治这种概念实际上已经被业界很多头部公司所认可，这也是我们腾讯下一代大数据平台目前在探索的方向之一。 今天的文章会聊一聊腾讯大数据平台在自治能力建设上的一些实践经验。 或者从外部的经验中学习，发展出判断能力，能辅助数据平台的使用者或者维护者开展日常工作，这时数据平台可以认为是半自治的；第三阶段：它依据判断，调动数据平台进行自我修复和优化，第四阶段，理想中的自治状态，这要求前几个阶段的能力全面主动干预到大数据平台各个组件的运行状况中 缩短数据处理链路）、必要的预处理（防止数据暴增、降低计算代价）等；从自治本身来思考，自治首先是要把基础（也就是数据采集存储模块）夯实，完备的指标集是实现自治的大前提，这是一个长期不断完善的过程；在此之上 ，自治的核心是专家经验的沉淀，无论是规则、数据标注、还是用于有监督学习的数据准备，均是这个核心的外化。
1.9K60编辑于 2021-12-31 - 来自专栏数据库新发现
自治数据库：体验 Oracle 的自治数据仓库云环境，ADWC 极致的性能优化
原文链接：http://www.enmotech.com/web/detail/1/535/1.html Oracle 已经在公有云上提供了自治的数据仓库，简单来说，自治的数据仓库可以将数据库的安装、部署 在菜单中，选择 『Autonomous Database Warehouses』,进入 自治数据库 管理页面，选择『Create Autonomous Database Warehouses』,即可进入 自治的云数据库极大提高了服务提供的过程，简化了 IT 基本操作。这就是云时代的变革。 下一节我们再继续探索，云上的自治数据库。 上一篇：自治数据库：Oracle 自治事务处理数据库 OLTP 型将于 2018年8月推出 下一篇：INS-30131 - Oracle 11.2.0.4 和 12c 安装遇到的临时位置权限解决
1.4K50发布于 2018-09-05 - 来自专栏云深之无迹
巴塞罗那自治大学.3D视觉课件.3
巴塞罗那自治大学，3D视觉课件.1 巴塞罗那自治大学.3D视觉课件.2 我还是一句话，自己推导一些这些定理，过了理论关，再去看代码实现，永远都是那么割裂，这不是一个学习的好法子。
46120编辑于 2022-11-29 - 来自专栏云深之无迹
巴塞罗那自治大学，3D视觉课件.1
上一篇是中文的，这一篇的英文的，各有侧重点。 https://nerf-w.github.io/ https://grail.cs.washington.edu/rome/
57520编辑于 2022-11-29 - 来自专栏云深之无迹
巴塞罗那自治大学.3D视觉课件.4
巴塞罗那自治大学，3D视觉课件.1 计算机视觉之三维重建篇.2(摄像机标定) 巴塞罗那自治大学.3D视觉课件.3
50220编辑于 2022-11-29 - 来自专栏杨建荣的学习笔记
Oracle 18c自治带给我的思考
自治是什么，我们离自治还有多少路要走？ 以下摘自Oracle的白皮书文档，可以看出这个战略是充分融合了软硬件技术，借助于云平台来实现，注意每个元素的标识都是自动化，所以自动化是自治的基础，但是Oracle所说的自治绝对不是单纯的自动化。 自治战略有三点，我直接摘录图文来说了。 ? ? 所以拉里埃里森说亚马逊的数据库和自动驾驶还远，这个说法是没错，但是我们是不是都需要所有数据库都实现自治，或者换一种说法，我们是不是所有业务都可以实现自治。 举几个例子来说明。 你对于18c是什么态度，对于自治是什么态度，欢迎留言。
69760发布于 2018-12-24 - 来自专栏云深之无迹
巴塞罗那自治大学.3D视觉课件.2
松山湖 可爱大狗！
22320编辑于 2022-11-29 - 来自专栏phodal
架构自治服务：构建数据驱动的架构洞察
如何构建架构的自治服务呢？只有达到自助 + 持续性之后，开发人员才可以实现架构自治。另外一个方面，从数据治理的角度来看，架构治理本身也是数据。 什么是架构自治服务？ 启发于《数据自助服务实践指南》，我们便开始探索什么是架构自治服务务。我们称架构治理类型的数据自助服务，称为架构自治服务： 架构自治服务是一种面向架构分析领域的数据自助服务。 根据这样的思想，我们制定了一个在不同阶段中，ArchGuard 应该处于怎样的状态，即架构自治服务的路线图。 架构自治服务路线图 在架构演进的场景之下，可以以可自定义架构适应度函数作为自动化的目标。 架构自治服务的示例 还记得开头提到的 SourceGraph 吗，它提供了一种灵活的数据洞见服务。 如何实现架构架构自治服务？
70820编辑于 2022-06-27 - 来自专栏用户8575079的专栏
自治可扩展互联网(AEIP NAM)实现
为此，在每个自治域名层次结构树中都增加ex(i)的顶级域名，以映射代表本自治IP网络可以通达的其它自治IP网络域名树。 而且就自治可扩展互联网AEIP NAM每个自治IP网络如A或者B而言，基本上与自治互联网AIP的自治IP网络现状一致，无需升级改造现有节点，内部通信独立于其它网络。 为了防止其它自治IP网络非法访问本自治IP网络的内部域名，在本自治IP网络的“自治IP网络DNS网关”入口处限定本自治IP网络可以开放给其它自治IP网络访问的域名范围。 与此对应，为了防止非法访问其它自治IP网络的内部域名，在本自治IP网络的“自治IP网络DNS网关”出口处也可以限定本自治IP网络可以访问的其它自治IP网络的域名范围。 为了防止其它自治IP网络的数据报头源地址或目的地址含“本地网络地址”的数据包渗入到本自治IP网络，在本自治IP网络的防火墙入口处禁止其它自治IP网络的数据报头源地址含“本地网络地址”的数据包进入；同时禁止其它自治
72240发布于 2021-05-19 - 来自专栏用户8575079的专栏
架构可扩展的自治互联网实现
同时，我们希望自治互联网的架构是安全的、可扩展的；互联网自治的改造是尽可能最小的；互联网自治的过渡是可行的、平滑的。 3.3 自治互联网的架构 根据自治互联网的域名体系，可以构造出自治互联网的网络架构，如图3所示。每个自治IP网络可以有多个根服务器,负责该自治网的所有的互联网域名解析工作。 自治互联网的域名解释具体实现如下： 自治IP网络本网内域名解释 自治IP网络本网内域名解释按照传统方式进行。 每个准备自治的IP网络需要对自治域内的网内域名进行聚合收敛，同时逐步与自治域以外的域名进行分隔。 4.2 互联网的自治 新建的自治IP网络：搭建全新的自治IP网络，新建工作除了包括IP节点网络的构建、独立的网络域名服务体系的构建外，还需要根据自治互联网域名层次结构在每个自治IP网络中增加一个称为“自治
1.2K41发布于 2021-05-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号