- 综合排序
- 最热优先
- 最新优先
- 来自专栏Linux运维修炼笔记007
安装nodejs和elasticdump工具
安装node使用 node 安装 elasticdump 非常方便。 安装elasticdumpnpm install elasticdump -g[root@ncayu8847 data]# npm install elasticdump -gnpm WARN deprecated /usr/local/nodejs/bin/elasticdump -> /usr/local/nodejs/lib/node_modules/elasticdump/bin/elasticdump+ 进入到elasticdump安装目录cd /usr/local/nodejs/lib/node_modules/elasticdump/执行 npm-pack-all当前目录生成 elasticdump -6.84.1.tgz确认安装成功elasticdump创建软连接ln -s /usr/local/nodejs/lib/node_modules/elasticdump/bin/elasticdump
81110编辑于 2024-03-11 - 来自专栏summerking的专栏
elasticdump数据导入导出
/lib/node_modules/elasticdump/bin/elasticdump /usr/bin/elasticdump [root@summer ~]# elasticdump //简单验证 /root/node-v8.9.0-linux-x64/bin/elasticdump -> /root/node-v8.9.0-linux-x64/lib/node_modules/elasticdump node_modules/elasticdump/bin/multielasticdump + elasticdump@6.33.4 added 97 packages in 7.144s [root@ summer lib]# ln -s /root/node-v8.9.0-linux-x64/lib/node_modules/elasticdump/bin/elasticdump /usr/bin/ elasticdump [root@summer lib]# elasticdump Tue, 27 Oct 2020 01:15:08 GMT | Error Emitted => {"errors"
1.9K20编辑于 2022-09-19 - 来自专栏运维专栏
Elasticsearch备份与还原：使用elasticdump
在本博客中，我们将会重点介绍如何使用一个非常实用的工具——elasticdump——来对Elasticsearch数据进行备份和还原。 注：我的使用场景是从A集群同步数据到B集群迁移Elasticdump 简介Elasticdump是一个开源工具，它可以用于对Elasticsearch索引的数据和映射(mapping)进行导入、导出操作 Elasticdump工作在命令行接口，通过简单直观的指令集操作Elasticsearch的索引数据。 然后，你可以使用以下npm命令安装Elasticdump：npm install -g elasticdump单索引备份与还原下面，我们首先介绍如何对单个索引进行备份和还原：备份单个索引为了备份一个特定的索引 其他备份实现方式Elasticdump是实现Elasticsearch备份与还原的一种方式，但并不是唯一方式。
3.9K21编辑于 2023-11-17 - 来自专栏大数据zjiekou
Elasticdump安装问题及同步index settings问题
cd /etc/yum.repos.dmv tlinux-kvm-guest.repo tlinux-kvm-guest.repobackupnpm install -g elasticdump#服务器无法访问公网下此命令会卡住无法完成 #安装仍然失败则进行离线安装elasticdump离线安装#选择一台能访问公网的机器执行下列命令：yum install nodenpm install -g npm-pack-allnpm install elasticdump -gcd /usr/local/lib/node_modules/elasticdumpnpm-pack-all#此时目录下有elasticdump-6.103.0.tgz，上传到需要安装的服务器上 #执行：npm install elasticdump-6.103.0.tgz #elasticdump安装完成。
52810编辑于 2024-01-03 - 来自专栏腾讯云迁云技术团队专栏
【Elasticsearch系列之七】通过elasticdump迁移ES数据
elasticdump 1.1、适合场景 适合数据量不大，迁移索引个数不多的场景（索引的分片数量和副本数量需要对每个索引单独进行迁移，或者直接在目标集群提前将索引创建完成，再迁移数据），支持：analyzer 相比于：reindex跨集群操作，elasticdump无需在ES集群的配置文件elasteicsearch.yml中设置授权迁移访问地址（白名单）。 --type=settings elasticdump --input=http://172.16.0.39:9200/companydatabase --output=http://172.16.0.20 :9200/companydatabase --type=mapping elasticdump --input=http://172.16.0.39:9200/companydatabase --output elasticdump --input=http://172.16.0.39:9200 --output=http://172.16.0.20:9200
6K31发布于 2020-04-27 推荐一款es导出导入小工具elasticdump
elasticdump这个工具之前就有用过，但是每次都是用的时候去现查，今天这篇文章简单记录下，方便后续使用。 该工具可以使用命令行的方式使用，也可以通过docker形式使用，这里的导出通过命令行方式，导入通过docker的方式，具体如下：es数据的导出导出采用常规方式npm install elasticdump -gcd index_1elasticdump --input=http://elastic:nF@172.16.2.1:9200/index_1 --output=mapping.json --type docker run --rm -ti -v ${PWD}/$index:/tmp elasticdump/elasticsearch-dump \ --input=/tmp/mapping.json docker run --rm -ti -v ${PWD}/$index:/tmp elasticdump/elasticsearch-dump \ --input=/tmp/data.json
51510编辑于 2025-09-25- 来自专栏DBA实战
数据迁移利器登场！Elasticdumpv6.110震撼发布，助你轻松搬迁大数据！
简介 Elasticdump 是一个用于导出和导入 Elasticsearch 数据的工具。 elasticdump 支持多种数据类型，包括索引数据、设置、映射、模板、别名等。 总结 elasticdump 是一个功能强大且灵活的工具，能够简化 Elasticsearch 数据的导出和导入过程。 然而，在使用 elasticdump 时，需要注意版本兼容性、性能影响和数据一致性等问题，以确保数据迁移过程顺利进行。 通过合理的规划和配置，elasticdump 可以有效地帮助用户管理和维护 Elasticsearch 数据。
1.4K10编辑于 2024-09-06 - 来自专栏MavenTalk
MYSQL千万级别数据量迁移Elasticsearch5.6.1实战
Elasticsearch-dump，Github地址：https://github.com/taskrabbit/elasticsearch-dump，官方简介提示如下 Version 3.0.0 of Elasticdump Elasticdump依赖node环境，所以需要事先安装Node环境，再通过npm命令安装。安装过程参考官方文档。 2、准备elasticsearch-jdbc迁移脚本 #! 3，采用Elasticdump迁移数据 从官方的介绍中可以看到，大致分三个步骤： # Copy an index from production to staging with analyzer and mapping: elasticdump \ --input=http://production.es.com:9200/my_index \ --output=http://staging.es.com :9200/my_index \ --type=analyzer elasticdump \ --input=http://production.es.com:9200/my_index \
96530编辑于 2023-03-07 - 来自专栏山海散人技术
elasticsearch-dump数据导入导出
$PATH:$NODEJS_HOME/bin source ~/.bash_profile 测试：npm 安装elasticsearch-dump 使用nodejs下载 npm install elasticdump /elasticdump --input=http://localhost:9200/jtthink --output=jtthink.json --type=data 就会在当前文件夹生成jtthink.json /elasticdump --input=jtthink.json --output=http://localhost:9200/jtthink --type=data 然后重新删除索引，创建mapping
1.5K40发布于 2021-03-03 - 来自专栏thinkphp+vue
Linux部署elasticsearch和迁移数据详细教程
# npm install elasticdump -g #添加软连接 # ln -s /usr/local/node/lib/node_modules/elasticdump/bin/elasticdump /usr/bin/elasticdump #添加软连接 # ln -s /usr/local/node/lib/node_modules/elasticdump/bin/multielasticdump ，用来拷贝Elasticdump模块缓存 安装好npm和node以后，npm install elasticdump -g。 /elasticdump/bin/elasticdump /usr/bin/elasticdump #添加软连接 # ln -s /root/node_modules/elasticdump/bin 到本地JSON文件 ： #格式：elasticdump --input {protocol}://{host}:{port}/{index} --output .
3.3K40编辑于 2022-04-24 - 来自专栏低级Java知识传播者
es从线上库导出数据并导入开发环境
npm install elasticdump -g or 安装指定版本的module npm i elasticdump@6.104.1 https://www.npmjs.com/package/elasticdump tar -cvf elasticdump.tar elasticdump 目标服务器上解压： /root/upload/node-v16.20.2-linux-x64/lib/node_modules 此时，执行elasticdump不生效，找不到，所以要在path下建立软连接： cd /root/upload/node-v16.20.2-linux-x64/bin ln -s .. /lib/node_modules/elasticdump/bin/elasticdump elasticdump ln -s .. /lib/node_modules/elasticdump/bin/multielasticdump multielasticdump 导入(慢) 我是从文件导入新搭建的es服务。
74010编辑于 2024-01-29 - 来自专栏大数据生态
AWS/华为云Opensearch到Elasticsearch迁移方案
同步索引属性Elasticdump工具只能同步index mapping，settings无法同步。 安装elasticdump工具，版本建议6.76.0及更高版本[root@tencentos ~]# yum install -y npm[root@tencentos ~]# npm install -g elasticdumpelasticdump安装细节问题移步：Elasticdump安装问题2. 仅能同步mapping，settings同步index.replication.type配置不支持报错elasticdump --input=http://source_ip:9200/test --output =http://elastic:passwd@target_ip:9200/test --type=mapping --timeout=30elasticdump --input=http://admin
83410编辑于 2023-12-01 - 来自专栏编程技术沉思录
实际使用Elasticdump工具对Elasticsearch集群进行数据备份和数据还原
文/朱季谦 目录 一、Elasticdump工具介绍 二、Elasticdump工具安装 三、Elasticdump工具使用 最近在开发当中做了一些涉及到Elasticsearch映射结构及数据导出导入的工作 一、Elasticdump工具介绍 在npm关于Elasticdump的英文官网里，可以看到一篇关于Elasticdump的英文介绍，这个工具的logo很有意思，是一台可以搬运（迁移）东西（数据）的工具车 ，这个logo就表明该Elasticdump工具可用来迁移备份和恢复数据。 使用Elasticdump时特别需要是，若直接用npm install elasticdump -g来按照，node版本需要在v10.0.0以上才能支持，否则执行该指令会出错。 Elasticdump通过向发送一个input来工作output，其标准指令是 elasticdump --input SOURCE --output DESTINATION [OPTIONS] input
3.3K40发布于 2021-04-13 - 来自专栏全栈程序员必看
Elasticsearch索引迁移的四种方式
elasticsearch-dump安装 1) yum install epel-release 2) yum install nodejs 3) yum install npm 4) npm install elasticdump 5) cd node_modules/elasticdump/bin 后便可以执行操作。 安装后如下所示： [root@N3 elasticdump]# pwd /home/tp/node_modules/elasticdump [root@N3 elasticdump]# ls -al total -rw-r--r-- 1 root root 6172 Feb 2 23:47 elasticdump.js drwxr-xr-x 2 root root 4096 Jul 13 2016 .github test -rw-r--r-- 1 root root 1150 Dec 2 07:54 .travis.yml ##1.3 elasticsearch-dump 使用 '#拷贝analyzer如分词 elasticdump
2.5K20编辑于 2022-09-02 - 来自专栏ES三周年参文
【ES三周年】线下es环境数据迁移至腾讯云ES实例实践
/bin/elasticdump --version6.14.13、准备导出本地es实例索引配置及数据3.1 使用导出本地文件的方式，同时也可以使用网络实时的迁移方式，需要依赖两端网络互通# . /bin/elasticdump --input=http://源esIP地址:9200/索引名--output=http://目的esIP地址:9200/索引名 --type=analyzer. /bin/elasticdump --input=http://源esIP地址:9200/索引名 --output=http://目的esIP地址:9200/索引名 --type=mapping. /bin/elasticdump --input=http://源esIP地址:9200/索引名 --output=http://目的esIP地址:9200/索引名 --type=alias. elasticdump --input=http://username:password@192.168.1.2:9200/test --output=http://username@password@
66420编辑于 2023-04-07 - 来自专栏日知录
使用elasticsearch-dump迁移elasticsearch集群数据
bin Dockerfile LICENSE.txt test docker-compose-test-helper.yml elasticdump.jpg node_modules transforms docker-compose.yml elasticdump.js package.json docker-entrypoint.sh - /root/elasticsearch-dump-6.33.4/bin/elasticdump at Function.Module. ', '/root/elasticsearch-dump-6.33.4/bin/elasticdump' ] } [root@VM-88-87-centos bin]# npm install run `npm fund` for details found 0 vulnerabilities 最终npm模块依赖如下 [root@VM-88-87-centos bin]# npm list elasticdump
76940发布于 2020-09-28 - 来自专栏kubernetes中文社区
如何在 Kubernetes 下快速构建企业级云原生日志系统
4、清理 $ helm uninstall logstash -n bigdata 三、ELK 相关的备份组件和备份方式 Elasticsearch 备份两种方式： 将数据导出成文本文件，比如通过 elasticdump wait_for_completion=true { "indices": "index_1", "rename_replacement": "restored_index_1" } 2）elasticdump 备份迁移 es 数据 索引数据导出为文件（备份） # 导出索引Mapping数据 $ elasticdump \ --input=http://es实例IP:9200/index_name/index_type \ --output=/data/my_index_mapping.json \ # 存放目录 --type=mapping # 导出索引数据 $ elasticdump \ -- :9200/index_name \ --input=/home/indexdata/roll_vote.json \ --type=data 可直接将备份数据导入另一个 es 集群 $ elasticdump
96510编辑于 2022-10-27 - 来自专栏铭毅天下
干货 | Elasitcsearch7.X集群/索引备份与恢复实战
方案二：使用elasticdump迁移Mapping和数据。 该方案适用于：索引层面迁移数据或Mapping，支持：analyzer/Mapping/data的迁移操作。 相比于：reindex跨集群操作，elasticdump无需在ES集群的配置文件elasteicsearch.yml中设置授权迁移访问地址（白名单）。 迁移 同mysql dump功能，严格讲elasticdump有导入、导出数据的功能。 ://192.168.3.2:9200/my_index \ 4 --type=analyzer 5elasticdump \ 6 --input=http://192.168.1.1:9200 /my_index \ 7 --output=http://192.168.3.2:9200/my_index \ 8 --type=settings 9elasticdump \ 10 -
3.5K11发布于 2019-11-18 - 来自专栏铭毅天下
Elasticsearch 跨网络、跨集群同步选型指南
3.2 方案二：elasticdump 同步 https://github.com/elasticsearch-dump/elasticsearch-dump ? 3.2.1elasticdump 安装注意事项 elasticdump 前置依赖是 node，node要8.0+之后的版本。 --help elasticdump: Import and export tools for elasticsearch version: 6.71.0 Usage: elasticdump -- input SOURCE --output DESTINATION [OPTIONS] ... ... 3.2.2 elasticdump 同步实战 elasticdump \ --input=http 3.2.3 elasticdump 同步实战验证结论 ? elasticdump 同步 100W数据，耗时：106 s。
4.4K10发布于 2021-06-25 - 来自专栏CKL的思考空间
一个有趣的BUG
01 问题发现过程 通过前期的方案设计和比较，我们决定通过elasticdump 工具来做ES的数据迁移，这个也是比较普遍的迁移方案，于是就动手实施了，过程中也没遇到什么问题。 于是怀疑是elasticdump导出功能的问题。因为这个出错的字段，主要的特征就是长度比较长（18位），于是怀疑是精度的问题。 就去查了下elasticdump的源码，一番查找后，果然发现有人遇到过同样的问题，并已经修复了这个BUG，并给出了解决方案和一些猜测的原因。于是这个问题就得到了解决。 在elasticdump的导出命令中，加上－-support-big-int参数，就可以了。 好像也很简单嘛，不是么。其实排错的过程也走过很多弯路，只是现在回顾起来看着比较轻松而以。 可以在Chrome Console 里面试了一下，果然是这样，（不是超过了能表示的最大值，而是超过了能精确表示的最大值），和elasticdump导出的数据变化基本类似。
56240编辑于 2023-02-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号