- 综合排序
- 最热优先
- 最新优先
- 来自专栏开源部署
MySQL归档 pt-archiver 工具
该语句删除块的第一行和最后一行之间的每一行，隐含--commit-each.批量删除source上的旧数据 --bulk-insert:批量插入数据到dest主机 --charset：-A，设置默认字符集 dest u=system,p=**,h=192.168.19.145,P=3306,D=test,t=t37 \ --where="1=1" --limit=1000 --statistics --bulk-insert =system,p=**,h=192.168.19.145,P=3306,D=test,t=t37 \ --where="id<=49999" --limit=1000 --statistics --bulk-insert h=192.168.19.145,P=3306,D=test,t=t37 \ --where="a >=80000 and a<100000" --limit=1000 --statistics --bulk-insert h=192.168.19.145,P=3306,D=test,t=t37 \ --where="a >=80000 and a<100000" --limit=1000 --statistics --bulk-insert
2K00编辑于 2022-08-17 - 来自专栏Reinvent Data Science
Milvus 新版本来啦！首席工程师带你划重点：安全、稳定、升级友好
稳定性提升 Bulk-insert 性能大幅提升 Bulk-insert 是 2.2 系列新引入的功能，通过 Bulk-insert，用户可以将数据批量导入到 Milvus 中，能大大提升数据准备的效率 而在新版本中，Milvus 团队持续改进 Bulk-insert 的性能，具体内容如下： 流式数据导入和内存占用优化 JSON parser 性能优化 导入过程中进度反馈 流式读取 numpy 数据 Metrics
86150编辑于 2023-08-26 - 来自专栏MYSQL轻松学
MySQL InnoDB Lock（二）
根据Insert类型为simple-insert，bulk-insert（INSERT…SELECT,REPLACE…SELECT,LOAD DATA），mixed-mode-insert，innodb_autoinc_lock_mode =(0,1,2) 0=所有insert采用传统AUTO-INC机制； 1=bulk-insert采用轻量级； 2=所有insert采用轻量级（但是replication只能row-base） InnoDB
3.9K70发布于 2018-03-09 - 来自专栏数据库相关
pt-archiver归档工具的使用详解
都会输出执行过程的） --charset=UTF8 指定字符集为UTF8 --bulk-delete 批量删除source上的旧数据(例如每次1000行的批量删除操作) --bulk-insert <'2017-05-01 00:00:00' " \ --statistics --charset=UTF8 --limit=10000 --txn-size 1000 --no-delete --bulk-insert 使用bulk-insert用时7秒钟。而常规insert用时40秒。
7.3K31发布于 2019-09-18 - 来自专栏数据库相关
修改pt-archiver代码解决utf8mb4字符集问题
生产环境表中有特殊字符算是一个很常见的情况，但是默认情况下pt-archiver的bulk-insert遇到特殊字符会报错，类似如下图：从报错日志可以看到是LOAD DATA LOCAL INFILE
19010编辑于 2025-04-02 - 来自专栏MySQLBeginner
优雅地使用pt-archiver进行数据归档
xxx',D=test123,t=c1 \ --charset=UTF8 --where '1=1' --progress 10000 --limit=10000 --txn-size 10000 --bulk-insert xxx',D=test123,t=c1 \ --charset=UTF8 --where '1=1' --progress 10000 --limit=10000 --txn-size 10000 --bulk-insert UTF8 指定字符集为UTF8 --no-delete 表示不删除原来的数据，注意：如果不指定此参数，所有处理完成后，都会清理原表中的数据 --bulk-delete 批量删除source上的旧数据 --bulk-insert
3.2K30发布于 2019-02-27 - 来自专栏ApacheHudi
Apache Hudi vs Delta Lake：透明TPC-DS Lakehouse性能基准
Hudi 加载的 databeans 配置使用了不适当的写入操作 upsert，而明确记录[9]了 Hudi bulk-insert[10] 是此用例的推荐写入操作。 metadata for updates, incremental processing, etc 'hoodie.populate.meta.fields' = 'false', -- Use “bulk-insert 'hoodie.sql.insert.mode' = 'non-strict', 'hoodie.sql.bulk.insert.enable' = 'true', -- Perform bulk-insert https://hudi.apache.org/learn/faq/#what-performanceingest-latency-can-i-expect-for-hudi-writing) [10] bulk-insert
1.2K20编辑于 2022-07-11 - 来自专栏Reinvent Data Science
门槛一降再降，易用性大幅提升！Milvus 2.2.12 持续升级中
#25809 #25758 修复 bulk-insert 的问题。 越来越多的用户在生产环境中部署 Milvus，在冷启动阶段批量导入功能至关重要，此次更新修了大量 bulk-insert 的 bug，提升了批量导入的稳定性。
56740编辑于 2023-08-25 - 来自专栏MySQLBeginner
优雅地使用pt-archiver进行数据归档
xxx',D=test123,t=c1 \ --charset=UTF8 --where '1=1' --progress 10000 --limit=10000 --txn-size 10000 --bulk-insert xxx',D=test123,t=c1 \ --charset=UTF8 --where '1=1' --progress 10000 --limit=10000 --txn-size 10000 --bulk-insert UTF8 指定字符集为UTF8 --no-delete 表示不删除原来的数据，注意：如果不指定此参数，所有处理完成后，都会清理原表中的数据 --bulk-delete 批量删除source上的旧数据 --bulk-insert
1.2K10发布于 2019-04-24 - 来自专栏雨夜-Elasticsearch成长专栏
MySQL分表方案介绍
key_part3,common_field \ --charset=UTF8 --where 'id<10000' --progress 1000 --limit=1000 --txn-size 1000 --bulk-insert key_part3,common_field \ --charset=UTF8 --where '1=1' --progress 10000 --limit=10000 --txn-size 10000 --bulk-insert
2.1K00编辑于 2022-03-18 - 来自专栏爱可生开源社区
故障分析 | pt-archiver 归档丢失一条记录
destu=root,p=xxx,h=10.186.61.9,P=3306,D=test,t=sbtest1 --where="1=1" --progress=1000 --statistics --bulk-insert
1.4K40编辑于 2022-09-28 - 来自专栏运维技术迷
连仕彤博客Mysql数据库归档利器之pt-archiver
pt-archive都会输出执行过程的） --charset=UTF8 指定字符集为UTF8 --bulk-delete 批量删除source上的旧数据(例如每次1000行的批量删除操作) --bulk-insert
2.8K60发布于 2018-06-13 - 来自专栏ApacheHudi
写入 Hudi 数据集
filter-dupes Should duplicate records from source be dropped/filtered outbefore insert/bulk-insert
1.9K40发布于 2021-04-13 - 来自专栏程序猿的大杂烩
搭建高可用的Replication集群归档大量的冷数据
201910 --no-check-charset --where 'purchase_date < "2019-11-01 0:0:0"' --progress 50000 --bulk-delete --bulk-insert 数据的删除有事务保证，不会出现未归档成功就将数据删除了的情况 --bulk-insert：指定批量写入归档数据 --limit：指定每次归档多少条数据 --statistics：归档数据完成后打印统计信息
97521发布于 2020-09-23 - 来自专栏MYSQL轻松学
MYSQL RR隔离级别下MVCC及锁解读
innodb_autoinc_lock_mode= 1 默认锁定模式（bulk-insert采用表级锁） “bulk inserts”仍然使用AUTO-INC表级锁,并保持到语句结束；“Simple inserts
3.4K80发布于 2018-03-09 - 来自专栏大数据-BigData
Hudi关键术语及其概述
Writing（写操作） 在hudi中的写操作分为三种，分别是upsert、insert以及bulk-insert。
2K20编辑于 2022-01-19 - 来自专栏东山絮柳仔
MySQL数据归档小工具推荐及优化--mysql_archiver
解决方案: pt-archiver去掉参数 --bulk-insert --bulk-delete 7.执行 db_archive_exec.py 报错 报错信息 <type 'exceptions.Exception
3.2K00发布于 2021-03-19 - 来自专栏大数据-BigData
hudi中的写操作
filter-dupes Should duplicate records from source be dropped/filtered out before insert/bulk-insert
2.2K10编辑于 2022-01-19 - 来自专栏GreatSQL出品技术文章
Percona Toolkit 神器全攻略（实用类）
buffer 指定file时，仅在事务提交的时候刷新到磁盘 --bulk-delete 批量删除 --[no]bulk-delete-limit 是否开启批量删除限制，delete ... limit --bulk-insert
56110编辑于 2024-05-30 - 来自专栏存储公众号：王知鱼
AMD：人工智能时代：存储挑战与解决方案
具体来说： 数据摄入（Data Ingestion）通过批量插入（bulk-insert）从各种数据源/云/数据中心摄入大量对象。
71010编辑于 2025-02-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号