- 综合排序
- 最热优先
- 最新优先
- 来自专栏爱可生开源社区
技术分享 | my2sql 与 binlog2sql 解析效率 battle
---前言大家在平时运维过程中应该都了解过或者使用过一些 binlog 解析工具，比如今天要介绍的 my2sql 和 binlog2sql 。 my2sql 是基于 my2fback 、binlog_rollback 工具二次开发而来的（go语言），binlog2sql 是 python 语言开发的 mysql binlog 解析工具，两者都可以通过解析 ，my2sql更胜一筹图片my2sql 与 binlog2sql 其他功能对比功能特性my2sqbinlog2sql备注解析 binlog 可生成标准 sql ，回滚 sql ，去除主键的 INSERT SQL 等支持支持两种工具都可根据不同的参数选择生成标准或者回滚 sql ，另：my2sql 生成的结果文件更全面，可根据参数分表生成 sql 文件，binlog2sql 只有 sql 文件解析大事务或长事务支持不支持可根据需求设置参数值解析生成 生成 sql 时需要到数据库中查看表结构总结从解析效率对比来看，my2sql 是优胜于 binlog2sql 的，并且 my2sql 另外还具有解析大事务或者长事务，生成 DML 统计信息的功能，是很实用一款
71450编辑于 2022-08-30 - 来自专栏爱可生开源社区
技术分享 | my2sql 与 binlog2sql 解析效率 battle
---- 前言 大家在平时运维过程中应该都了解过或者使用过一些 binlog 解析工具，比如今天要介绍的 my2sql 和 binlog2sql 。 my2sql 是基于 my2fback 、binlog_rollback 工具二次开发而来的（go语言），binlog2sql 是 python 语言开发的 mysql binlog 解析工具，两者都可以通过解析 结果 如下表所示，从解析效率来看，my2sql 更胜一筹 binlog 解析工具 binlog 文件大小 并发数 解析完成时间 my2sql 2G 1 11min 4 12min 6 14min 8 17min binlog2sql【不支持并发】 2G 1 54min my2sql 与 binlog2sql 其他功能对比 功能特性 my2sq binlog2sql 备注 解析 binlog ，my2sql 是优胜于 binlog2sql 的，并且 my2sql 另外还具有解析大事务或者长事务，生成 DML 统计信息的功能，是很实用一款 binlog 解析工具，但是通过实验来看，my2sql
1.4K40编辑于 2022-09-26 - 来自专栏大大刺猬
ibd2sql v0.2 解析ibd文件为SQL
距离上一个版本已经过去4个月了....下载地址项目地址: https://github.com/ddcw/ibd2sql源码: https://github.com/ddcw/ibd2sql/archive /refs/tags/v0.2.tar.gz二进制包: https://github.com/ddcw/ibd2sql/releases/download/v0.2/ibd2sql_0.2_linux_x86 _64.tar.gz二进制包(国内平台): https://www.modb.pro/doc/116152 介绍解析mysql8.0的数据文件, 并生成相关SQL.功能图片选项 说明 备注 --sql 打印解析出来的数据的insert语句 --ddl 打印相关 解析数据(venv) 11:00:23 [root@ddcw21 ibd2sql_v0.2]#python main.py --ddl --sql /data/mysql_3314/mysqldata/
1.9K90编辑于 2023-08-30 - 来自专栏爱可生开源社区
技术分享 | binlog 实用解析工具 my2sql
今天要介绍的是另一款基于 Go 编写的 binlog 解析工具：my2sql，他的同门师兄还有 my2fback、binlog_inspector（binlog_rollback）。 =on） 总结 my2sql 是一款比较实用的 binlog 解析工具，除了能闪回 DML 的误操作外，还能通过生成前滚 SQL 进行数据补偿、利用事务分析功能来排查主从延迟问题、捕捉长时间不提交的事务等 my2sql 基于 Go 语言编写，直接提供了 Linux 二进制版本，对环境无依赖，使用便捷 my2sql 性能较好，解析 binlog 时生成闪回/前滚 SQL 的效率较高（对比 binlog2sql ），作者号称能达到 50-60 倍左右，有兴趣的朋友可进行一轮性能对比测试 MyFlash 解析 binlog 的效率也比 binlog2sql 高，但生成的回滚文件仍然是二进制格式的，需要依赖 mysqlbinlog 来进行处理，同时，也无法直观地对反解析后的回滚内容进行业务验证，my2sql 的出现正好弥补了这两者的不足
1.7K10发布于 2021-01-13 - 来自专栏PawSQL，在线的自动化SQL优化工具！
知乎SQL优化挑战赛 - 题目2解析
最近在知乎上发起了一个SQL优化挑战赛，其中题目2用到了多个重写优化算法以及索引创建的策略。 null,c_name varchar(25),c_address varchar(40),c_nationkey int,c_phone char(15),c_acctbal decimal(15,2) 原SQL分析 由于关联条件o_custkey上无索引而c_custkey上有索引，从下面的执行计划可以看到，优化器会将orders作为驱动表，执行时间为580.661ms。 2. 调整索引c_key_name_idx索引字段的顺序，将c_name放在前面； 2. 优化产品包括 PawSQL Cloud，在线自动化SQL优化工具，支持SQL审查，智能查询重写、基于代价的索引推荐，适用于数据库管理员及数据应用开发人员， PawSQL Advisor，IntelliJ
29510编辑于 2024-08-20 - 来自专栏Java后端技术栈cwnait
2万字，深度解析SQL性能优化，值得收藏
本文涉及三大部分： 1、SQL介绍 2、SQL优化方法 3、SQL优化实例 1、MySQL的基本架构 1）MySQL的基础架构图 左边的client可以看成是客户端，客户端有很多，像我们经常你使用的CMD 2）mysql的编写过程和解析过程 ① 编写过程 select dinstinct ..from ..join ..on ..where ..group by ..having ..order by 提供一个网站，详细说明了mysql解析过程： 3）SQL优化—主要就是优化索引 优化SQL，最重要的就是优化SQL索引。 索引相当于字典的目录。 再次来看mysql的编写过程和解析过程。 优化：添加索引的时候，要根据MySQL解析顺序添加索引，又回到了MySQL的解析顺序，下面我们再来看看MySQL的解析顺序。
3.6K14编辑于 2024-05-29 - 来自专栏NLP/KG
NL2SQL实践系列(1)：深入解析Prompt工程在text2sql中的应用技巧
NL2SQL实践系列(1)：深入解析Prompt工程在text2sql中的应用技巧NL2SQL基础系列(1)：业界顶尖排行榜、权威测评数据集及LLM大模型（Spider vs BIRD）全面对比优劣分析 [Text2SQL、Text2DSL]NL2SQL基础系列(2)：主流大模型与微调方法精选集，Text2SQL经典算法技术回顾七年发展脉络梳理NL2SQL进阶系列(1)：DB-GPT-Hub、SQLcoder 、Text2SQL开源应用实践详解NL2SQL进阶系列(2)：DAIL-SQL、DB-GPT开源应用实践详解[Text2SQL]NL2SQL进阶系列(3)：Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解[Text2SQL]☆☆NL2SQL进阶系列(4)：ConvAI、DIN-SQL、C3-浙大、DAIL-SQL-阿里等16个业界开源应用实践详解[Text2SQL ]☆☆NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL、SQL-PaLM）、新一代数据集BIRD-SQL解读NL2SQL实践系列(1)：深入解析Prompt
81310编辑于 2024-04-18 - 来自专栏NLP/KG
NL2SQL实践系列(1)：深入解析Prompt工程在text2sql中的应用技巧
NL2SQL实践系列(1)：深入解析Prompt工程在text2sql中的应用技巧 NL2SQL基础系列(1)：业界顶尖排行榜、权威测评数据集及LLM大模型（Spider vs BIRD）全面对比优劣分析 [Text2SQL、Text2DSL] NL2SQL基础系列(2)：主流大模型与微调方法精选集，Text2SQL经典算法技术回顾七年发展脉络梳理 NL2SQL进阶系列(1)：DB-GPT-Hub、SQLcoder 、Text2SQL开源应用实践详解 NL2SQL进阶系列(2)：DAIL-SQL、DB-GPT开源应用实践详解[Text2SQL] NL2SQL进阶系列(3)：Data-Copilot、Chat2DB、 Vanna Text2SQL优化框架开源应用实践详解[Text2SQL] NL2SQL进阶系列(4)：ConvAI、DIN-SQL等16个业界开源应用实践详解[Text2SQL] NL2SQL任务的目标是将用户对某个数据库的自然语言问题转化为相应的 随着LLM的发展，使用LLM进行NL2SQL已成为一种新的范式。在这一过程中，如何利用提示工程来发掘LLM的NL2SQL能力显得尤为重要。
3.6K11编辑于 2024-04-20 - 来自专栏芋道源码1024
Sharding-JDBC 源码分析 —— SQL 解析（二）之SQL解析
概述 2. SQLParsingEngine 3. 2. SQLParsingEngine SQLParsingEngine，SQL 解析引擎。 解析器，主要提供只考虑 SQL 块的解析方法，不考虑 SQL 上下文。 SQLIgnoreExpression 例如： SELECT*FROM t_order o ORDER BY o.order_id%2 中的 o.order_id%2。 另外条件这块对括号解析需要继续优化，实际使用请勿写冗余的括号。例如： SELECT*FROM tbl_name1 WHERE((val1=?)AND(val2=?))AND val3=?。
2.2K50发布于 2018-03-02 - 来自专栏数据库干货铺
SQL基础（2）
之前的SQL基础1中已经介绍了部分Select的内容，但是，实际使用中select 还有很多其他的用法，本文会再介绍部分select的其他用法。 1. 去重查询 1.1 创建演示表 创建2张表用于演示，表名分别为student和class，后续也将继续用这2张表演示，2张表的数据如下： student表 ? class表 ? class_no | +----------+ | 201801 | | 201901 | | 201902 | +----------+ 3 rows in set (0.00 sec) 2. 6.1 内连接 内连接是查询2张表同时存在的记录，即两张表的交集。 | 2019级02班 | +----------+--------------+ 6 rows in set (0.00 sec) c） in可以用内连接的方式来改写，尤其是多层子查询时，这也是SQL
63340发布于 2019-11-29 - 来自专栏捞月亮的小北
2-SQL
SQL 全称 Structured Query Language，结构化查询语言。操作关系型数据库的编程语言，定义了 一套操作关系型数据库统一标准 。 2. SQL 通用语法 1). SQL 语句可以单行或多行书写，以分号结尾。 2). SQL 语句可以使用空格/缩进来增强语句的可读性。 3). MySQL 数据库的 SQL 语句不区分大小写，关键字建议使用大写。 4). SQL 分类 SQL 语句，根据其功能，主要分为四类：DDL、DML、DQL、DCL。 给全部字段添加数据 语法： INSERT INTO 表名 VALUES (值1, 值2, ...); 案例： 插入数据到 employee 表，具体的 SQL 如下： insert into employee 值2, ...), (值1, 值2, ...) ; 案例： 批量插入数据到 employee 表，具体的 SQL 如下： insert into employee values(3,'3','韦一笑',
1.2K10编辑于 2023-12-01 - 来自专栏大大刺猬
使用ibd2sql解析ibd文件生成 DDL和DML
本文讲ibd2sql的使用,建议使用源码(没得依赖包, 除了要求python3)介绍ibd2sql是解析mysql 8.0的ibd文件, 并生成DDL和DML, 还支持解析出被删除的数据(当然也可以解析 二进制下载地址: https://github.com/ddcw/ibd2sql/releases/download/v0.1/ibd2sql_v0.1_x86.tar.gz使用虽然建议使用源码(几KB /ibd2sql /data/mysql_3314/mysqldata/db1/t20230427_test.ibd --ddl图片解析出DML其实应该叫数据, 只是显示为insert格式,方便插入. /ibd2sql /data/mysql_3314/mysqldata/db1/t20230427_test.ibd --sql图片解析delete解析被标记为删除的, 就是执行delete之后的数据. /ibd2sql /data/mysql_3314/mysqldata/db1/t20230427_test.ibd --delete图片看起来是不是很dio >_<算是对之前解析ibd文件的总结吧 -
2.7K32编辑于 2023-04-27 - 来自专栏数据库干货铺
解析MySQL Binlog的利器：my2sql 使用指南
my2sql 是一个用于解析 MySQL ROW 格式 binlog 的命令行工具。 \ -output-dir ./ 内容如下： 场景2：解析指定时间范围binlog，生成回滚SQL [root@vbox my2sql]# . tab=readme-ov-file 四、工具对比 在社区中，binlog2sql 是较早被广泛使用的 binlog 解析工具。 两者在设计目标上有相似之处，但在实现细节和能力覆盖上存在差异： 对比维度 my2sql binlog2sql 开发语言 Go语言，编译型，性能优异 Python，解释型，性能一般 解析速度 较快，支持10GB 、主从架构优化、复杂业务审计 测试环境、小体量binlog解析、简单数据恢复场景 五、结语 my2sql 作为一款现代、轻量、功能完整的 binlog 解析工具，正在被越来越多的团队采纳。
36410编辑于 2026-01-27 - 来自专栏全栈程序员必看
SQL SERVER实例解析
什么是SQL SERVER实例 ———— SQL SERVER实例的概念和“类与对象”的概念很相似。 因此，所谓的“SQL SERVER实例”，实际上就是被安装在计算机上的某个完整的SQL SERVER服务器(或者，为了与硬件服务器的概念相区别，可以把SQL SERVER实例称为SQL SERVER服务器引擎 ———— 查看已安装的SQL SERVER 实例名的方法 1.开始菜单——-SQL SERVER配置管理器———SQL SERVER服务，这里可以看到已安装的实例名。 2.注册表， 键目录 KEY_LOCAL_MACHINE/SOFTWARE/Microsoft/Microsoft SQL Server 键名 InstalledInstances 3.通过系统服务， 我们把这台计算机的名字改为“Win2kSQL”，点击OK。然后提示需要重新启动计算机。OK，重新启动。 重新启动后，我们回到了登录界面。
1.9K10编辑于 2022-07-15 - 来自专栏麒思妙想
扩展 Spark SQL 解析
今天跟大家分享下Spark吧，谈谈如何修改Spark SQL解析，让其更符合你的业务逻辑。好，我们开始吧... 解析阶段 根据词法，构建出一棵分析树（parse tree）或叫语法树（syntax tree） ? ,t.name JACKY(2) from t 我们先看一下正常的语法规则： ? ,我们可以看到jackyExpression已经可以正常解析了。 Spark 执行流程 这里引用一张经典的Spark SQL架构图 ? 我们输入的 SQL语句 首先被解析成 Unresolved Logical Pan ，对应的是 ?
1.4K70发布于 2021-04-23 - 来自专栏小赵的Java学习
Mybatis动态SQL解析
文章目录 1 为什么需要动态SQL？ 2 动态标签有哪些? 3 举例说明 if choose (when, otherwise) trim (where, set) foreach 1 为什么需要动态SQL？ 看一段Oracle存储过程代码： 由于前台传入的查询参数不同，所以写了很多的if else，还需要非常注意SQL语句里面的and、空格、逗号和转移的单引号这些，拼接和调试SQL就是一件非常耗时的工作 MyBaits的动态SQL就帮助我们解决了这个问题，它是基于OGNL表达式的。 2 动态标签有哪些? -- 动态SQL where 和 if --> <select id="selectBlogListIf" parameterType="blog" resultMap="BaseResultMap
69040编辑于 2022-12-02 - 来自专栏一个会写诗的程序员的博客
SQL 解析器：值类型解析设计
this.value); } @Override public Long getValue() { return this.value; } } 值类型对象解析器 /** * 解析 fieldValue 值 */ fun parseFieldValue(fieldCondition: FieldCondition, fieldValueType: KFieldValueType } } return null; } /** * 类型转化为hive值类型 */ public String map2HiveColumnType "FIELD TYPE NOT SUPPORT"); } } /** * 类型转化为ch值类型 */ public String map2ChColumnType
68411编辑于 2022-03-23 - 来自专栏技术杂记
SQL 精编（2）
); CREATE DATABASE `test`; ---- insert INSERT INTO tbl_name (col1,col2) VALUES(15,col1*2); insert into teamstemp select * from teams; insert into table_a(field_a1,field_a2,field_a3) select field_b1,field_b2 ,a_name,b_cumsum,c_cumsum,d_spent,e_rate,created_at,updated_at abc_def into outfile "/tmp/tmp_xyz.sql .2"; ---- optimize table mysql> select concat('optimize table ',TABLE_SCHEMA,'.' data load data infile "/tmp/abcdef.sql.925.2" into table abc_def; use xxx; source fff.sql;
50320发布于 2021-10-19 - 来自专栏ShyNodes
my2sql
my2sql简介 go版MySQL binlog解析工具，通过解析MySQL binlog ，可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等，也可以生成DML统计信息。 类似工具有binlog2sql、MyFlash、my2fback等，本工具基于my2fback、binlog_rollback工具二次开发而来。 产品性能对比 binlog2sql当前是业界使用最广泛的MySQL回滚工具，下面对my2sql和binlog2sql做个性能对比。 my2sql binlog2sql 1.1G binlog生成回滚SQL 1分40秒 65分钟 1.1G binlog生成原始SQL 1分30秒 50分钟 1.1G binlog生成表DML统计信息、以及事务统计信息 MySQL8.0版本需要在配置文件中加入default_authentication_plugin =mysql_native_password，用户密码认证必须是mysql_native_password才能解析
62520发布于 2021-07-27 - 来自专栏合集
【2】My SQL 管理
| +--------------+--------------+------------------+ | localhost | guest | 6f8c114b58f2ce9e 你可以在以上实例看到用户密码加密后为： 6f8c114b58f2ce9e. 注意：在 MySQL5.7 中 user 表的 password 已换成了authentication_string。 Shutdown_priv Process_priv File_priv Grant_priv References_priv Index_priv Alter_priv 另外一种添加用户的方法为通过SQL 注意: MySQL 的SQL语句以分号 (;) 作为结束标识。
82590发布于 2018-04-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号