- 综合排序
- 最热优先
- 最新优先
- 来自专栏一个爱吃西瓜的程序员
学习SQL【2】-数据库与SQL
● 关系数据库通过关系型数据库管理系统（RDBMS）进行管理。 2：为什么DBMS那么重要？ 答：DBMS能够实现多个用户同时安全简单的操作大量数据。 二：数据库的结构 1：RDBMS的常见结构 RDBMS最常见的系统结构是客户端/服务器类型（C/S）结构。 2：表的结构 ● 用来管理数据的二维表在关系数据库中简称为表。 2：SQL语句及其种类 SQL使用关键字、表名、列名等组合成一句SQL语句来描述操作的内容。 根据指令种类不同，SQL语句可分为三种： ● DDL（数据定义语言）：用来创建和删除数据库或表等对象。 3：SQL的基本书写规则 ● SQL语句要以分号（;）结尾。 ● SQL不区分关键字的大小写，但是插入到表中的数据是区分大小写的。 ; 2：表的创建 创建表的语句： CREATE TABLE <表名> ( <列名1> <数据类型> <约束条件>, <列名2> <数据类型> <约束条件>， <列名3> <数据类型> <约束条件
5K90发布于 2018-04-04 - 来自专栏智能大数据分析
大数据软件基础（2）—— Java、SQL
三、SQL语言基础 1986年10月，美国国家标准协会对SQL进行了规范，以此作为关系式数据库管理系统的标准语言（ANSI X3. 135-1986）。 不过不同的数据库系统在其实践过程中都对SQL规范作了某些改编和扩充。Hadoop生态圈的 Hive、Spark 等也仿照SQL语言提出了自己的类SQL语言，用于数据的查询和分析等。 定义：结构化查询语言（Structured Query Language，SQL）是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。 (sid int, sname varchar(20), ssex varchar(2), sage int); （二） 在数据表添加信息 语法格式：INSERT INTO 表名(数据名称1，数据名2 ，…) VALUES(字段值1，字段值2, …)； 1、插入所有字段，一次性加入一条完整的信息，插入的字段值的个数和数据表的属性个数相同。
31010编辑于 2025-01-22 my2sql数据闪回
default_authentication_plugin =mysql_native_password，用户密码认证必须是mysql_native_password才能解析此工具是伪装成从库拉取binlog，需要连接数据库的用户有 结果中的额外的datetime时间信息都是binlog event header中的unix timestamp 下载wget https://github.com/liuhr/my2sql/blob/ master/releases/centOS_release_7.x/my2sql chmod +x my2sql && mv my2sql /usr/local/bin/更改数据UPDATE `test ---+--------------+------------------+----------------------------------------------+找出误操作的语句与开发确认my2sql `t1` SET `b`='b' WHERE `id`=2;数据闪回并不是万能的，备份恢复是最后底线。
26920编辑于 2024-10-24- 来自专栏数据库相关
使用binlog2sql恢复数据
对于误操作数据的闪回，我们一般推荐 binlog2sql 或者MyFlash(美团点评开源的) 本篇文章， 我们介绍下 binlog2sql的用法： binlog2sql 【首级推荐使用】 官网：https ://github.com/danfengcao/binlog2sql 注意： binlog必须是row格式，并且是FULL类型的记录。 ： cd /root/ 先用mysqlbinlog找到误操作的那个地方binlog文件及位移点，然后使用下面命令解析： python /root/binlog2sql/binlog2sql/binlog2sql.py ： cd /root/ python /root/binlog2sql/binlog2sql/binlog2sql.py --flashback -h192.168.11.20 -P3306 -uflashback *//g' /root/rollback.sql 3 将数据恢复到数据库中： use testdb ; UPDATE `testdb`.
77630发布于 2019-12-24 - 来自专栏python前行者
python binlog2sql同步mysql数据
---- binlog2sql：https://github.com/danfengcao/binlog2sql binlog2sql是大众点评开源的一款用于解析binlog的工具 依赖包 PyMySQL 应用案例 误删整张表数据，需要紧急回滚 闪回详细介绍可参见example目录下《闪回原理与实战》https://github.com/danfengcao/binlog2sql/blob/master/ 我们使用开源工具binlog2sql来进行实战演练。binlog2sql由美团点评DBA团队(上海)出品，多次在线上环境做快速回滚。 首先我们安装binlog2sql： shell> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql shell 2）otter：也是阿里开源的一个分布式数据库同步系统，尤其是在跨机房数据库同步方面，有很强大的功能。它是基于数据库增量日志解析，实时将数据同步到本机房或跨机房的mysql/oracle数据库。
2.3K20发布于 2020-01-13 - 来自专栏C语言基础
sql serve数据库基础入门(2)
目录 前言 一、通过sql语句管理表的结构 2.1 "添加"列 和 "删除"列 (1) 添加列: (2) 删除列: 2.2 "添加"约束 和 "删除"约束 (1) 添加约束 (2) 删除约束: 二、通过 sql语句添加、修改、删除表中的数据. (1) 插入数据 (2) 修改数据 (3) 删除数据 本片中用到的"数据库"和"表"是上一篇文章创建的,不愿意重新创建"表"的可以点这里哦! ----传送门 如果不了解数据库中的数据类型–传送门 一、通过sql语句管理表的结构 2.1 "添加"列 和 "删除"列 (1) 添加列: 添加列的格式: alter table 表名 --alter表示修改 前面的各种操作是对表的结构定义进行设置,接下来我们详解如何对表中的数据进行修改. (1) 插入数据 格式: insert into 表名 values(数据1,数据2,数据3……) 用sql语句分别在student (2) 修改数据 示例1: 使用T-sQL语句，将Course表中的课程号为:002的学分改为4,总学时改为64。
1K30编辑于 2022-12-06 - 来自专栏数据库干货铺
SQL基础（2）
之前的SQL基础1中已经介绍了部分Select的内容，但是，实际使用中select 还有很多其他的用法，本文会再介绍部分select的其他用法。 1. 去重查询 1.1 创建演示表 创建2张表用于演示，表名分别为student和class，后续也将继续用这2张表演示，2张表的数据如下： student表 ? class表 ? | 3 | 王维 | 21 | 201902 | +----+----------+------+----------+ 7 rows in set (0.00 sec) 注：当表的数据量较大时 limit offset,row_counts 其中 offset是偏移量，即之前遍历了的数据量，row_counts指每页的数据量。 | 2019级02班 | +----------+--------------+ 6 rows in set (0.00 sec) c） in可以用内连接的方式来改写，尤其是多层子查询时，这也是SQL
63340发布于 2019-11-29 - 来自专栏捞月亮的小北
2-SQL
SQL 全称 Structured Query Language，结构化查询语言。操作关系型数据库的编程语言，定义了 一套操作关系型数据库统一标准 。 2. SQL 通用语法 1). SQL 语句可以单行或多行书写，以分号结尾。 2). SQL 语句可以使用空格/缩进来增强语句的可读性。 3). MySQL 数据库的 SQL 语句不区分大小写，关键字建议使用大写。 4). 在 DataGrip 中执行 SQL 语句 在指定的数据库上，右键，选择 New --> Query Console 然后就可以在打开的 Query Console 控制台，并在控制台中编写 SQL 给全部字段添加数据 语法： INSERT INTO 表名 VALUES (值1, 值2, ...); 案例： 插入数据到 employee 表，具体的 SQL 如下： insert into employee 值2, ...), (值1, 值2, ...) ; 案例： 批量插入数据到 employee 表，具体的 SQL 如下： insert into employee values(3,'3','韦一笑',
1.2K10编辑于 2023-12-01 - 来自专栏ops技术分享
数据恢复binlog2sql--准备工作
工具 1）解析出标准的SQL python binlog2sql.py -h192.168.1.21 -P30136 -uglon -p'123456' -d xcrm -t edai_binlog2sql --start-file=mysql-bin.000001 > edai_binlog2sql.sql 参数解释： -h：数据库服务地址 -u：连接用户名 -p：密码 -P：端口 -d：数据库名 -t 2）解析想要回滚的SQL 比如，我想回滚刚刚操作的，edai_binlog2sql 后面两个update和DELETE操作 找到的时间节点就是：start 6159262 end 6159823 #分析最好用 -tedai_binlog2sql --start-file=mysql-bin.000001 --start-position=6159262 --stop-pos=6159823 > edai_binlog2sql-new.sql [root@soft binlog2sql]# cat edai_binlog2sql-new.sql INSERT INTO `xcrm`.
44020发布于 2021-06-11 - 来自专栏ops技术分享
数据恢复binlog2sql--原理及其使用
原理及其使用 生产上误删数据、误改数据的现象也是时常发生的现象，作为运维这时候就需要出来补锅了，最开始的做法是恢复备份，然后从中找到需要的数据再进行修复，但是这个时间太长了，对于大表少数数据的修复来讲， 当然还有其他的一些操作方法，binlog2sql使用。 用途 数据回滚 主从切换后数据不一致的修复 从 binlog 生成标准 SQL，带来的衍生功能 闪回原理简析 开始之前，先说说闪回。 binlog 有三种可选的格式： statement：基于 SQL 语句的模式，binlog 数据量小，但是某些语句和函数在复制过程可能导致数据不一致甚至出错； mixed：混合模式，根据语句来选用是 但是，DDL 语句，比如drop,truncate 在整个使用中都是无法被回滚的，这种情况，只能用最近的备份数据+二进制日志恢复 本次实验，更改一条数据，并删除一条数据，然后从解析 binlog 信息， 到使用 binlog2sql 工具来生成标准和回滚 SQL，来剖析整个运行过程。
81830发布于 2021-06-11 - 来自专栏mysql-dba
使用my2sql来恢复mysql数据
my2sql 使用说明来源原作者：my2sql的GitHub地址：https://github.com/liuhr/my2sql go版MySQL binlog解析工具，通过解析MySQL binlog 用途 数据快速回滚(闪回) 主从切换后新master丢数据的修复 从binlog生成标准SQL，带来的衍生功能 生成DML统计信息，可以找到哪些表更新的比较频繁 IO高TPS高， 查出哪些表在频繁更新 找出某个时间点数据库是否有大事务或者长事务 主从延迟，分析主库执行的SQL语句 除了支持常规数据类型，对大部分工具不支持的数据类型做了支持，比如json、blob、text、emoji等数据类型sql生成 产品性能对比 binlog2sql当前是业界使用最广泛的MySQL回滚工具，下面对my2sql和binlog2sql做个性能对比。 my2sql binlog2sql 1.1G binlog生成回滚SQL 1分40秒 65分钟 1.1G binlog生成原始SQL 1分30秒 50分钟 1.1G binlog生成表DML统计信息、以及事务统计信息
2.2K41发布于 2021-05-20 - 来自专栏技术杂记
SQL 精编（2）
); CREATE DATABASE `test`; ---- insert INSERT INTO tbl_name (col1,col2) VALUES(15,col1*2); insert into teamstemp select * from teams; insert into table_a(field_a1,field_a2,field_a3) select field_b1,field_b2 ,a_name,b_cumsum,c_cumsum,d_spent,e_rate,created_at,updated_at abc_def into outfile "/tmp/tmp_xyz.sql .2"; ---- optimize table mysql> select concat('optimize table ',TABLE_SCHEMA,'.' data load data infile "/tmp/abcdef.sql.925.2" into table abc_def; use xxx; source fff.sql;
50320发布于 2021-10-19 - 来自专栏大数据杂货铺
用Flink SQL流化市场数据2：盘中VoR
Flink SQL是一种数据处理语言，可用于事件驱动和流应用程序的快速原型设计和开发。 借助Flink SQL，业务分析人员、开发人员和量化人员都可以快速建立流传输管道，以实时执行复杂的数据分析。 在本文中，我们将使用Simudyne开发的基于代理的模型（ABM）生成的综合市场数据。 本文中，我们探讨了如何使用流式SQL从实时报价数据流中计算日内VaR（IVaR）。具体来说，我们将根据前5分钟的定价数据，每秒计算出99％的IVaR。 幸运的是，借助像Flink这样的现代流媒体平台，以及像Flink SQL这样的易于使用的流编程语言，我们可以快速构建健壮的管道，以在市场数据实时到达时计算日内风险度量。 我们希望本系列文章能鼓励您尝试将Flink SQL用于流式市场数据应用程序。
85630发布于 2021-07-02 - 来自专栏ShyNodes
my2sql
类似工具有binlog2sql、MyFlash、my2fback等，本工具基于my2fback、binlog_rollback工具二次开发而来。 用途 数据快速回滚(闪回) 主从切换后新master丢数据的修复 从binlog生成标准SQL，带来的衍生功能 生成DML统计信息，可以找到哪些表更新的比较频繁 IO高TPS高， 查出哪些表在频繁更新 找出某个时间点数据库是否有大事务或者长事务 主从延迟，分析主库执行的SQL语句 除了支持常规数据类型，对大部分工具不支持的数据类型做了支持，比如json、blob、text、emoji等数据类型sql生成 产品性能对比 binlog2sql当前是业界使用最广泛的MySQL回滚工具，下面对my2sql和binlog2sql做个性能对比。 my2sql binlog2sql 1.1G binlog生成回滚SQL 1分40秒 65分钟 1.1G binlog生成原始SQL 1分30秒 50分钟 1.1G binlog生成表DML统计信息、以及事务统计信息
62420发布于 2021-07-27 - 来自专栏合集
【2】My SQL 管理
| +--------------+--------------+------------------+ | localhost | guest | 6f8c114b58f2ce9e 你可以在以上实例看到用户密码加密后为： 6f8c114b58f2ce9e. 注意：在 MySQL5.7 中 user 表的 password 已换成了authentication_string。 Shutdown_priv Process_priv File_priv Grant_priv References_priv Index_priv Alter_priv 另外一种添加用户的方法为通过SQL 注意: MySQL 的SQL语句以分号 (;) 作为结束标识。 ---- 管理MySQL的命令 以下列出了使用Mysql数据库过程中常用的命令： USE 数据库名 : 选择要操作的Mysql数据库，使用该命令后所有Mysql命令都只针对该数据库。
82590发布于 2018-04-12 - 来自专栏数据库相关
使用my2sql提取binlog里的数据
项目地址： https://github.com/liuhr/my2sql 参数和说明 # . /my2sql --help my2sql V2.0 -U prefer to use unique key instead of primary key to build where condition -v print version -work-type string valid options are: 2sql,rollback,stats. 2sql: convert binlog to sqls, rollback: generate rollback sqls, stats: analyze transactions. default: 2sql (default "2sql") # 提取到的回滚sql明细 2、伪装成从库，直接分析远程mysql指定的binlog文件模式 1 需要连接数据库的用户有SELECT, REPLICATION SLAVE, REPLICATION
62740编辑于 2023-09-06 - 来自专栏MYSQL轻松学
开源数据闪回工具—binlog2sql介绍
github地址为：https://github.com/danfengcao/binlog2sql 该工具主要用于： 数据快速回滚（闪回）； 从binlog生成标准SQL； 适用MySQL版本：MySQL5.6 --stop-datetime ：终止解析时间，格式为’%Y-%m-%d %H:%M:%S’ 对象过滤参数： -d , --databases : 只解析目标DB的sql，多个数据库用空格隔开，如：- 市面上也有一些其他开源工具，原理都差不多，但使用效率上binlog2sql更胜一筹，通过binlog2sql可以很容易搞定： python binlog2sql.py -h ip #指定目标ip，建议从库 -u binlog2sql #指定数据库用户 -p xxxx #指定密码 -P 3306 #指定数据库端口 -d db #指定库名 > rollback.sql #追加到文件 拿到sql文件后不要直接恢复，一定让研发确认下没问题后在恢复，恢复前对数据进行下备份。
3.4K41发布于 2020-07-24 - 来自专栏张善友的专栏
SQL Server 2008 R2 主数据服务
主数据服务(Master Data Services，MDS)既是一个概念又是一个产品，主数据服务的概念是对核心业务数据有一个集中的数据入口看守人，数据项如客户账单地址，雇员/客户姓名，以及产品名称应该集中管理 主数据服务应用程序可以保证所有表只有一个正确的地址，而一个MDS可以是一个本地应用程序，SQL Server 2008 R2包括一个应用程序和一个接口管理核心数据。 主数据管理和实施: http://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0904loulj/index.html SQL Server 2008 R2主数据服务安装:http://www.cnblogs.com/studyzy/archive/2009/12/28/sqlserver2008r2-mds-setup.html Management Server 技术概述:http://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0903infosphere2/
1K60发布于 2018-01-30 - 来自专栏四楼没电梯
Text2SQL数据集和技术方案整理
Text2SQL（文本到 SQL）是一种自然语言处理（NLP）任务，旨在将用户的自然语言查询转换为可执行的 SQL 查询，从而使非技术用户能够更轻松地与关系数据库交互。 以下是对 Text2SQL 数据集和技术方案的全面整理，涵盖数据集的特性、技术方法的演变以及当前的研究状态。 数据集分析 Text2SQL 的研究和开发高度依赖于高质量的标注数据集，以训练和评估模型。 统计数据： 数据集数量：18 领域覆盖：超过 12 个 SQL 模式：超过 3.9K 数据库数量：29K 特点：相比 Spider，增加了约 120K 示例，SQL 模式数量增加三倍，包括比较和布尔查询 以下是详细分类： 传统机器学习方法 早期方法主要依赖规则和统计模型，代表性包括： Seq2SQL：使用序列到序列学习，结合注意力机制，将自然语言映射到 SQL 查询，详见 Seq2SQL Paper。 Cross-Domain Natural Language Interfaces to Databases ATIS: Airline Travel Information System Dataset Seq2SQL
2.3K10编辑于 2025-03-01 - 来自专栏Java架构师历程
sql必会基础2
在已经存在的表上创建唯一索引 1、CREATE UNIQUE INDEX index_name ON table_name ( field_name [(index_length)] [ASC|DESC]) 2、 INSERT INTO table_name (field_1, field_2, …) VALUES (value_1, value_2, vaule_3, …) 045 查看Mysql表结构的命令 1、可以处理拥有上千万条记录的大型数据 2、支持常见的SQL语句规范 3、可移植行高，安装简单小巧 4、良好的运行效率，有丰富信息的网络支持 5、调试、管理，优化简单（相对其他大型数据库） 051 如何解决 1、在数据库安装的时候指定字符集 2、如果在安完了以后可以更改以配置文件 3、建立数据库时候：指定字符集类型 4、建表的时候也指定字符集 052 如何提高MySql的安全性？ 2.使用set password语句来修改用户的密码，先“mysql -u root”登陆数据库系统，然后mysql> update mysql.user set password=password(‘
87110发布于 2018-09-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号