- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据生态
Solr-to-ES迁移
ES对比Solr优势ES在高级查询上优化更多更高效ES本身是分布式的，而Solr需要配合Zookeeper使用实现分布式ES创建索引更快，而Solr创建索引会产生阻塞实时建立索引时，ES没有阻塞写入数据更快 ES的查询速度几乎不受数据量增加的影响，而Solr会越来越慢劣势针对已有的数据查询时，Sor速度更快Solr接受的数据格式更丰富Solr比较成熟稳定环境配置Solr-9.3.0JDK-17（建议不低于JDK8 ）Python-3.6.8ES-7.14.2Solr安装1. ==3.6.0开始迁移solr-to-es --solr-query "*:*" http://127.0.0.1:8983/solr/my_core http://es-ip:9200 --es-user 'elastic' --es-password '*****' es_indexname _doc出现代码执行报错,参数数量冲突TypeError: join() takes exactly one
65920编辑于 2023-11-16 - 来自专栏腾讯云大数据
Solr数据迁移ES
作者介绍 yinanwu（吴沂楠），腾讯云 Elasticsearch 高级开发工程师 本文介绍通过开源社区提供的solr-to-es迁移工具，将Solr节点中的文档迁移到腾讯云ES中的方法。 使用限制 solr-to-es迁移工具仅支持迁移到腾讯云ES 6.4.3、6.8.2版本，迁移完成后可以在控 制台通过升级ES集群大版本升级到更高版本。 迁移数据，下面的语句把solr里的collections中通过*:*查询到的文档分页导入到腾讯云ES的指定的索引和doc type中。 {ES索引名} {ES doc type} 例如： solr-to-es --solr-query "*:*" --es-user "elastic" --es-password "mypassword " http://127.0.0.1:8983/solr/node http://10.2.2.23:9200 my_index my_type 上面语句迁移完成后可以在ES中查询： curl -XGET
1.1K10编辑于 2022-08-26 - 来自专栏腾讯云Elasticsearch Service
在线不停服迁移自建ES集群至腾讯云ES
背景 在之前的文章Elasticsearch跨集群数据迁移之离线迁移中，我们介绍了如何在离线场景下把自建的ES集群或者在其它云厂商购买的ES集群迁移至腾讯云的ES, 但是如果在迁移过程中业务不能中断或者不能够暂停写操作 2020年5月份，腾讯云ES上线的新版本中，对集群节点所在的网络进行了优化，使得集群节点能够反向访问到用户VPC下的ip，因此采用集群融合的方式可以实现在线不停服地迁移自建ES集群至腾讯云ES。 ES的节点上，最后剔除掉自建ES的节点，实现平滑迁移。 实施步骤 购买腾讯云ES 在腾讯云官网控制台上购买ES, 需要特别注意以下几点： 选择和自建ES相同大版本的ES，高级特性根据需要可选基础版和开源版，注意白金版在当前场景下不可选，在完成迁移后可以在腾讯云 _name属性为自建ES集群节点的名称列表 观察数据迁移情况 数据迁移完毕后，在业务侧修改ES集群地址为腾讯云ES集群的vpc内网地址(先验证vpc内网地址访问无误，然后在业务压力小时切换ES集群地址)
4.8K92发布于 2020-05-22 - 来自专栏大数据生态
腾讯云ES分批融合迁移方案
方案名称 ES多轮分批融合迁移方案（ES索引级别融合迁移方案） 图片 方案风险 集群融合期间，云上集群不可进行变更，比如升降配置、版本升级，否则会有集群不可用的风险； 集群融合期间，不可新建索引，否则分片会被分配到云上 1667919566003300032 es-fqetcgvk 二次融合迁移 2. _name" : "1667918642003295132, 1667918642003294932, 1667918642003295032" }' 图片 发起迁移之后，数据迁移到了云上。 _name" : "1667919566003299932, 1667919566003299832, 1667919566003300032" }' 图片 发起迁移之后，数据迁移到了云上。 通过快照迁移数据 二次融合迁移之后，数据迁移到了云上新建的小集群里，但由于数据还需要整合到云上主集群，所以还有一步快照迁移的操作。
1.7K137编辑于 2023-07-25 - 来自专栏腾讯云Elasticsearch Service
自建ES集群迁移至腾讯云ES的几种方案介绍
越来越多的客户将自建的ES集群或者部署在其他云厂商的 ES 集群迁移到腾讯云上来。为了更加方便快捷地帮助客户完成集群迁移工作，下面简单介绍下可提供的两种迁移方案，离线迁移和在线迁移。 二、在线迁移 在线迁移技术是基于腾讯云ES于2020年5月份发布的双网卡技术实现的一种迁移方案。因此，这里需要注意，要迁移的目的ES集群需要是在2020年5月后创建的才适用。 迁移原理：将腾讯云ES集群于客户自建ES集群进行融合，构建成一个更大的ES集群，然后通过设置集群的settings配置，将客户ES集群上的索引数据平滑迁移到腾讯云ES的各个节点上，最后再将客户的ES集群节点下线 这两种迁移方案都需要实行迁移的机器能够同时访问到源ES集群和腾讯云ES集群。并且这两种方案都不需要源ES集群重启。 只要源ES集群和腾讯云ES集群能够网络互通，都可以选择在线迁移的方案，这种方案对源ES集群的可用性和稳定性没有任何影响，彻底做到平滑迁移业务不停服。这也是首选的迁移方案。
4.6K74发布于 2020-07-28 - 来自专栏ES三周年参文
【ES三周年】线下es环境数据迁移至腾讯云ES实例实践
线下es迁移至腾讯云ES实践案例1、首先我们先要准备好node环境，简便部署满足使用即可1.1下载node应用包后在本地数据目录解压# xz -d node-v10.16.3-linux-x64.tar.xzcd /bin/elasticdump --version6.14.13、准备导出本地es实例索引配置及数据3.1 使用导出本地文件的方式，同时也可以使用网络实时的迁移方式，需要依赖两端网络互通# . dump3.3 网络实时的迁移方式，需要依赖两端网络互通，腾讯云es实例支持开通公网虚拟地址以便打通网络。. elasticdump --input=http://源esIP地址:9200/索引名 --output=http://目的esIP地址:9200/索引名 --type=data3.4 带账号密码的数据迁移 elasticdump --input=http://10.130:9200/rdms--limit=1000 --output=http:/localhost:9200/rdms# 带账号密码的数据迁移
68320编辑于 2023-04-07 - 来自专栏大数据生态
「Bi Fang」Solr to ES 迁移工具使用指导
说明Bi Fang（毕方） 是为 Linux 开发的 Solr to ES 数据同步工具，并在 Centos 和 Ubuntu 上进行了积极测试。 ； ✧ 本工具有以下特点：以 Service 风格启停；高效时序翻页；支持断点续传；支持预估迁移耗时；支持观测迁移速率、趋势、进度；引入生产者-消费者独立线程模式，在密集时序场景下可以提升同步效率；支持观测每个 准备工作 ● 服务器准备准备一台可以访问 Solr 及 ES 实例的服务器，其网络环境应该是互通的； 2. 执行方式 2.1. url，形式需为 http://10.10.10.x:9200es_user es 用户名es_password es 密码collections solr ● 如发现 ES 数据条数超过了 Solr，则以 Solr 端的时间区间为准进行 checksum，如 Solr 端的时间区间内两端的数据一致，则认为数据一致。
61130编辑于 2024-09-30 - 来自专栏腾讯云迁云技术团队专栏
【Elasticsearch系列之七】通过elasticdump迁移ES数据
相比于：reindex跨集群操作，elasticdump无需在ES集群的配置文件elasteicsearch.yml中设置授权迁移访问地址（白名单）。 1.2、使用方式 elasticsearch-dump是一款开源的ES数据迁移工具，github地址: https://github.com/taskrabbit/elasticsearch-dump elasticsearch-dump使用node.js开发，可使用npm包管理工具直接安装： npm install elasticdump -g 2) 主要参数说明 --input: 源地址，可为 ES ，可为 ES 集群地址 URL、文件或 stdout，可指定索引，格式为：{protocol}://{host}:{port}/{index} --output-index: 目标 ES 集群的索引 - -type: 迁移类型，默认为 data，表明只迁移数据，可选 settings, analyzer, data, mapping, alias --limit：每次向目标ES集群写入数据的条数，不可设置的过大
6.1K31发布于 2020-04-27 - 来自专栏腾讯云迁云技术团队专栏
【Elasticsearch系列之六】通过logstash迁移ES数据
Logstash 1.1、适合场景 数据体量不大，需要在线数据同步的场景（实际使用的是scroll，是执行瞬间的es快照，近实时的数据同步）。 %{@metadata}" document\_id => "%{@metadata}" routing => "%{@metadata}" } } 参数说明： 参数 说明 hosts ES input中为http://<阿里云ES公网地址>:<端口>:output中为http://腾讯云ES实例 user 访问ES服务的用户名 password 访问ES服务的密码 index 指定同步索引名 ，如果用到_routing这个字段，就需要迁移_routing，需要在logstash的output里指定routing字段，值是"%{@metadata}"（意思是保持跟来源索引一致），但同时也要在input { "query\_string": { "query": "\*" } } }' docinfo => true } Elasticsearch input插件是根据配置的query语句，从ES
15.3K42发布于 2020-04-22 - 来自专栏腾讯云迁云技术团队专栏
【Elasticsearch系列之五】通过snapshot迁移ES数据
1、Snapshot 1.1、适合场景 1) 迁移速度快，适用数据量大的场景； 2) 需占用源集群磁盘空间，或者借助于对象存储，实现友商ES到腾讯云ES，或自建ES到腾讯云ES的数据迁移。 1.3、腾讯云ES备份到COS使用方式 snapshot api 是 Elasticsearch用于对数据进行备份和恢复的一组 api 接口，可以通过 snapshot api 进行跨集群的数据迁移，原理就是从源 从自建 ES 集群迁移至腾讯云 ES 集群，可直接使用 fs 类型仓库，但需要在 ES 配置文件 elasticsearch.yml 中设置仓库路径。 集群迁移至腾讯云 ES 集群，或腾讯云内部的 ES 集群迁移，可使用对应云厂商提供的仓库类型，例如 AWS 的 S3、阿里云的 OSS 和腾讯云的 COS 等。 4) 移动源 ES 集群 snapshot 至目标 ES 集群的仓库 把源 ES 集群创建好的 snapshot 上传至目标 ES 集群创建好的仓库中。
9.7K52发布于 2020-04-09 - 来自专栏腾讯云迁云技术团队专栏
【Elasticsearch系列之八】通过reindex迁移ES数据
1、reindex reindex 是 ES 提供的一个 api 接口，可以把数据从源 ES 集群导入到当前 ES 集群，实现集群内部或跨集群同步数据。 但仅限于腾讯云 ES 的实现方式（跨集群迁移需要elasticsearch.yml中加上ip白名单，并重启集群），所以腾讯云ES不支持 reindex 操作。 ES 集群 从源 ES 集群通过备份api创建数据快照，然后在目标 ES 集群中进行恢复 reindex是Elasticsearch提供的一个api接口，可以把数据从一个集群迁移到另外一个集群 网络要求 再迁移数据 复杂，需要提前在目标集群创建mapping和setting等，再迁移数据 简单 需要在目标ES集群中配置reindex.remote.whitelist参数，指明能够reindex的远程集群的白名单 适合场景 适用于数据量小的场景 适用于数据量一般，近实时数据传输 适用于数据量大，接受离线数据迁移的场景 本地索引更新Mapping实现索引层面迁移，或者跨集群的索引迁移
10.7K51发布于 2020-04-27 - 来自专栏腾讯云Elasticsearch Service
【腾讯云ES】自建ES集群在线融合迁移原理解析及操作指南
随着腾讯云ES集群稳定性越来越高、产品体验越来越好。有越来越多的外部客户希望将自建的ES集群迁移到腾讯云上来。本文将介绍一种腾讯云ES在业界独有的业务不停服无感知的迁移方案--在线融合迁移方案。 ，并结合ES集群自带的分片分配、迁移特性 来完成数据的迁移工作。 图片五、在线融合迁移基本步骤在线融合迁移的过程需要客户的运维同学和腾讯云ES团队的迁移同学密切配合才能完成，由于ES在7版本优化了Master选主逻辑，因此7以下的版本和7以上的版本需要分别采用不同融合策略 下面介绍下不同版本迁移的基本步骤和差异。1、7.0以下版本迁移7.0以下版本的迁移是指客户自建ES集群版本和腾讯云ES集群版本都是7.0以下的版本，如客户版本是6.4.5，云上版本为6.8.2。 目前我们腾讯云ES团队采用在线融合迁移方案已经成功迁移了上百套客户自建ES集群，每一次平滑迁移都保障了客户业务的系统稳定性和集群数据的安全性。希望本文的分享能够帮助到更多有需要的客户。
3K110编辑于 2022-12-09 - 来自专栏腾讯云Elasticsearch Service
记一次在线跨集群迁移ES数据
背景 业务所有的服务器日志都是通过filebeat进行采集，然后写入到一个公共的ES集群中。 因为当前使用的集群无法继续扩容了并且版本也较低(5.6.4), 所以需要把集群迁移到一个新的规模更大的集群，并且升级一下ES的版本，升级到6.4.3. 方案制定 迁移的需求是： 日志数据不能停止写入到ES 日志查询不受影响，延迟不能超过1分钟 参考之前写的关于数据迁移的文章Elasticsearch数据迁移与集群容灾，制定出的迁移方案为： 先使用logstash 或者snapshot全量同步一次数据到新集群中 使用logstash追平当天的日志索引后，查询入口切换到新的ES集群 日志写入入口切换到新的ES集群 实施步骤 1. 记录开始迁移的时间 在新的集群中执行以下查询，记录开始进行增量迁移的时间戳： GET es-runlog-2019-11-20/_search { "query": { "range":
4.4K156发布于 2019-12-23 - 来自专栏Elasticsearch Service
从友商迁移数据至腾讯云 ES
数据备份 1、阿里云上创建 oss 存储桶 image.png 2、源 es 上创建镜像备份仓库 PUT _snapshot/my_backup/ { "type": "oss", 金山云 KS3 腾讯云 COS URL列表 AWS S3中国区 AWS S3国际站 华为云 OBS 1、进入对象存储迁移，创建一个任务，填写迁移信息 image.png 2、发起迁移，任务成功完成。 数据迁移的耗时除了考虑数据量大小，还需要考虑地域 image.png 3、查看腾讯云 cos，快照数据已迁移过来 image.png 数据恢复 1、在腾讯云的（目标）集群中创建一个备份仓库，注意：" index_(.+)", "rename_replacement": "restored_index_$1" } image.png 目标集群中可看到这个索引已存在 image.png 注意：ES 快照原理 es 的快照是基于 Lucene 实现，Lucene 快照针对的都是最后一个提交点的快照，没有增量概念，每一次都是全量快照，并且与快照相关的物理文件都不会删除；es 则负责数据拷贝、仓库管理、
3.6K61编辑于 2022-05-25 - 来自专栏用户5909132的专栏
通过COS快照从自建ES迁移至腾讯云最佳实践
作者介绍 万守兵：腾讯云行业架构师，对云上双活架构、迁移方案有比较深的了解，现主要负责腾讯云泛互行业TOP级客户的解决方案架构工作。 一 场景介绍 在腾讯云同一个VPC内使用3台CVM部署自建ES集群，可以通过给自建Elasticsearch打快照存储到COS，在利用COS中的快照进行数据库恢复，将自建Elasticsearch数据迁移至腾讯云 目标ES集群中创建repository 在目标ES集群中创建仓库和在源ES集群中创建仓库类似。 移动源ES集群snapshot至目标ES集群的仓库 把自建源ES集群创建好的snapshot上传至目标ES集群创建好的仓库中。 在目标ES集群执行快照恢复 在目标腾讯云ES集群上执行快照恢复，会把snapshot_1快照里的备份的所有索引都恢复到当前ES集群中。
2.2K20发布于 2020-06-29 - 来自专栏程序员小明
「Elasticsearch」ES重建索引怎么才能做到数据无缝迁移呢？
-- more --> 那如果后续业务发生变化，需要改变数据结构或者更换ES更换分词器怎么办呢？为此，Elastic团队提供了很多通过辅助⼯具来帮助开发⼈员进⾏重建索引的方案。 blog_lastest，Mapping数据结构与blog索引一致 将blog数据同步至blog_lastest 删除blog索引 数据同步后给blog_lastest添加别名blog 新建索引 在这里推荐一个ES index": "blog" }, "dest": { "index": "blog_lastest" } } 在 kibana 中的使用如下所示 [-w706] 当然高版本（7.1.1）中，ES client.submitReindexTask(reindexRequest, RequestOptions.DEFAULT); 为了防止赘述，接下来举例全部以kibana中请求介绍，如果有需要用Java REST Client，可以自行去ES POST /blog/_search { "query": { "match": { "author": "james" } } } 如果搜索结果达到我们的预期目标，至此，数据索引重建迁移完成
6.1K10发布于 2021-01-02 - 来自专栏腾讯云大数据与AI专家服务
ES集群分片无法迁移，手动move仍然报错怎么办？
一、先看两个报错{ "status":400, "body":{ "error":{ "root_cause":[ { "type":"illegal_argument_exception", "reason":"[move_allocation] can't move 0, from {1667208150001223332}{jQ6N4UQGT1qh5
1.6K20编辑于 2023-03-09 - 来自专栏小七的各种胡思乱想
ES索引迁移优化：3倍速ReIndex + 零感知切换
然而，ES有个众所周知的‘硬伤’：一旦字段的mapping设定，就无法直接修改！ 这意味着每次模型升级带来的字段调整，都绕不开一个耗时费力的过程——重建索引并迁移数据（Reindex）。 ": index_name}, "dest":{"index": new_index_name}}# 关键：wait_for_completion=False 表示异步执行response = es.reindex wait_for_completion=False)# 获取异步任务IDtask_id = response['task']# 轮询任务状态，直到完成while True: task_status = es.tasks.get 因此数据迁移时可以关闭副本，等迁移完成再修改为1通过副本来保证数据高可用。 下次当你面对恼人的ES mapping变更时，不必再头疼停机窗口和漫长的等待时间了。用好这些技巧，让你的索引升级变得高效且优雅吧！
79120编辑于 2025-06-18 - 来自专栏程序员小明
【Elastic】ES重建索引怎么才能做到数据无缝迁移呢？
那如果后续业务发生变化，需要改变数据结构或者更换ES更换分词器怎么办呢？为此，Elastic团队提供了很多通过辅助⼯具来帮助开发⼈员进⾏重建索引的方案。 blog_lastest，Mapping数据结构与blog索引一致 将blog数据同步至blog_lastest 删除blog索引 数据同步后给blog_lastest添加别名blog 新建索引 在这里推荐一个ES 当然高版本（7.1.1）中，ES都有提供对应的Java REST Client，比如 ReindexRequest reindexRequest = new ReindexRequest(); reindexRequest.setSourceIndices client.submitReindexTask(reindexRequest, RequestOptions.DEFAULT); 为了防止赘述，接下来举例全部以kibana中请求介绍，如果有需要用Java REST Client，可以自行去ES POST /blog/_search { "query": { "match": { "author": "james" } } } 如果搜索结果达到我们的预期目标，至此，数据索引重建迁移完成
1.4K21发布于 2021-01-04 - 来自专栏腾讯云大数据与AI专家服务
使用cos备份迁移es数据，新集群restore报错snapshot_restore_exception
报错赏析图片原因分析需要在原集群创建好 repository 和 snapshot 后再去新集群创建相同的 repository，才可以看到对应的 snapshot如果遇到了以上问题，请严格按照下面的步骤来执行，切勿嫌麻烦一、源集群创建仓库PUT _snapshot/my_cos_backup{ "type": "cos", "settings": { "app_id": "xxxxxxx", "access_key_id": "xxxxxx", "ac
95810编辑于 2023-03-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号