首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏学习道路指南

    SQL治理经验

    SQL不仅会影响系统的响应速度,还可能导致数据丢失或损坏,给企业带来巨大的损失。因此,慢SQL治理成为了数据库管理的重要任务之一。 本文将分享一些慢SQL治理经验,包括如何识别、分析和优化慢查询。通过了解慢查询的原因和解决方法,我们可以提高数据库的性能和稳定性,为企业的业务发展提供更好的支持。 注意 count(distinct col1, col2) 如果其中一列全为NULL,那么即使另一列有不同的值,也返回为0。 可以使用Druid SQL Parser进行SQL解析,Druid SQL Parser是阿里巴巴的开源项目,可以将SQL语句解析为语法树,可以解析SQL的各个部分,如SELECT语句、FROM语、WHERE 五、总结 总之,慢 SQL 治理需要综合考虑多个方面,包括查询语句优化、参数调整、分区和分片、缓存使用、定期维护和优化、分布式数据库解决方案等。

    75510编辑于 2024-01-19
  • SQL性能治理经验谈

    背景SQL数据类型数值这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL 和 NUMERIC),以及近似数值数据类型(FLOAT、REAL 和 DOUBLE PRECISION 治理的几条特殊建议【建议】表中的自增列(auto_increment属性),推荐使用bigint类型。 举例子,通过SQL的内置函数:inet_aton 和 inet_ntoa,完成数值到ip地址,以及ip地址到数值的转换。 如ip地址(209.207.224.40),是按照 209×2^24 + 207×2^16 + 224×2^8 + 40 进行计算得出结果。 更为高阶的方法,选用int来存储时间,使用SQL函数unix_timestamp()和from_unixtime()来进行转换。

    46900编辑于 2024-09-19
  • 来自专栏后台技术汇

    SQL治理经验谈:索引覆盖

    背景explain - formatid: query sql 的标识idSELECT_TYPE: 查询的类型(SIMPLE/PRIMARY/SUBQUERY/DERIVED/UNION/UNION RESULT 使用到的索引的长度ref: 显示了查询条件类型(const/field_name/func)rows: query查询到的行数量query完成索引命中之后,才会去检查的行总数估算性能耗时:rows用来表示在SQL COLLATE=utf8mb4_unicode_ci;测试数据INSERT into test_like (id, name, age, email)values(1, 'aaa', 111, '1111'),(2, :https://www.geeksforgeeks.org/explain-in-sql/官网Mysql的EXPLAIN信息描述:https://dev.mysql.com/doc/workbench /en/wb-performance-explain.html其他文章SQL性能治理经验谈理解到位:灾备和只读数据库记录一次Mysql死锁事件(由Insert与uniqueKey导致)一文带你看懂:亿级大表垂直拆分的工程实践亿级大表冷热分级的工程实践

    31500编辑于 2024-09-19
  • 来自专栏java架构计划训练营

    SpringCloud Feign服务治理(2)

    2、在调用方和被调用方服务启动类入口添加注解,并配置扫描路径 @EnableDiscoveryClient //让注册中心能够发现这个服务 @EnableFeignClients(basePackages

    22710编辑于 2022-06-14
  • 来自专栏故障治理

    从管控角度谈慢SQL治理

    2.无索引、索引失效导致表的数据量越大,如果SQL又没有走索引,很容易发生查询慢的问题。所以对于大数据量的查询,需要建立适合的索引来优化查询。 那么在这1分钟时间内,其他SQL能够分配的资源总量就是7,如此循环,当资源分配完的时候,所有新的SQL执行将会排队等待。2. 作为横向的风险隐患治理团队,为了对公司内部多个部门多个系统进行慢SQL治理,我们总结了几点经验,仅供参考。 SQL对系统的影响,不方便长期跟踪治理。 3.分级治理、长期追踪慢SQL治理是一个需要长期坚持做的事情,我们的做法是每月取数据库主机cpu使用率TOP10数据库清单,拉出top清单中的TOP5慢SQL(根据评分排序),并组织相关系统进行优化,对比优化前后的负载情况

    51210编辑于 2024-09-09
  • 来自专栏瞎说开发那些事

    服务治理 2 --- Eureka集群

    一、 高可用注册中心 在上一篇[微服务系列] 服务治理—Eureka文章中,介绍了服务注册中心的单节点搭建部署。 然而在常用的微服务结构设计中,一般都是采用分布式的环境,以避免单机故障导致服务调用不可用,所以需要对微服务中的各个组件进行高可用的部署,服务治理中的服务注册中心也是一样。 本章将结合以下的拓扑图构建高可用的服务治理。 ? 三、 快速实践 01 1. 02 2. 服务的发现与消费 1. 生产服务 服务发现与消费主要涉及到两个内容:一是发现服务,而是对发现的服务进行消费(即调用)。 2. 消费服务 服务消费者采用Ribbon负载均衡器来实现。

    714100发布于 2018-06-19
  • 来自专栏数据库干货铺

    SQL基础(2

    之前的SQL基础1中已经介绍了部分Select的内容,但是,实际使用中select 还有很多其他的用法,本文会再介绍部分select的其他用法。 1. 去重查询 1.1 创建演示表 创建2张表用于演示,表名分别为student和class,后续也将继续用这2张表演示,2张表的数据如下: student表 ? class表 ? class_no | +----------+ | 201801 | | 201901 | | 201902 | +----------+ 3 rows in set (0.00 sec) 2. 6.1 内连接 内连接是查询2张表同时存在的记录,即两张表的交集。 | 2019级02班 | +----------+--------------+ 6 rows in set (0.00 sec) c) in可以用内连接的方式来改写,尤其是多层子查询时,这也是SQL

    63140发布于 2019-11-29
  • 来自专栏捞月亮的小北

    2-SQL

    SQL 全称 Structured Query Language,结构化查询语言。操作关系型数据库的编程语言,定义了 一套操作关系型数据库统一标准 。 2. SQL 通用语法 1). SQL 语句可以单行或多行书写,以分号结尾。 2). SQL 语句可以使用空格/缩进来增强语句的可读性。 3). MySQL 数据库的 SQL 语句不区分大小写,关键字建议使用大写。 4). SQL 分类 SQL 语句,根据其功能,主要分为四类:DDL、DML、DQL、DCL。 给全部字段添加数据 语法: INSERT INTO 表名 VALUES (值1, 值2, ...); 案例: 插入数据到 employee 表,具体的 SQL 如下: insert into employee 值2, ...), (值1, 值2, ...) ; 案例: 批量插入数据到 employee 表,具体的 SQL 如下: insert into employee values(3,'3','韦一笑',

    1.2K10编辑于 2023-12-01
  • 来自专栏写代码和思考

    Spring Cloud 学习笔记(2) 服务治理 Eureka

    2. 知识 Eureka 是 Spring Cloud Netflix 微服务套件中的一部分。Netflix Eureka来实现服务注册与发现, 它包含了服务端和客户端组件。 服务注册:在服务治理框架中, 通常都会构建一个注册中心, 每个服务单元向注册中心登记自己提供的服务, 将主机与端口号、 版本号、 通信协议等一些附加信息告知注册中心, 注册中心按服务名分类组织服务清单。 image.png 在完成了服务注册中心的搭建之后,接下将一个Spring Boot 应用加 入 Emeka 的服务治理体系中去。 示例 我们将搭建 peer1 和 peer2 两个 Eureka,互相注册。一旦注册完毕后,它们之间将会互相同步。 1112/eureka/ 步骤2,第二个 Eureka 服务:peer2 的配置 修改配置文件 application.properties server.port=1112 spring.application.name

    45330发布于 2021-05-13
  • 来自专栏并发笔记

    手写dubbo框架2-服务治理(zookeeper探讨)

    开始进入主题,本文主要介绍的是服务的注册和发现,也就是图片中的第1,2,3步,既然要实现服务治理,那么我们需要一个统一管理服务东西,也就是注册中心。 这里多说一句,图中的2,3很明显是分两步来处理。如果只是从注册中心拿到provider而已,那为什么要分两步呢?而且我所认识的单词也有限,要是我取名的话我可能会给它取名叫做get、return。 听起来好像上述完全可以解决我们的服务治理的功能。但是这只是对于单个provider来说。 znode,如下 [zk: localhost:2181(CONNECTED) 1] ls /[zookeeper, faregistrys][zk: localhost:2181(CONNECTED) 2]

    78961发布于 2019-07-15
  • 来自专栏杨建荣的学习笔记

    SQL治理高阶实践:异常防御体系建设与应用挖掘

    分享概要 一、防微杜渐:异常SQL防御体系建设 二、深度观测:全量SQL分析与挖掘 三、容量预测:数据库仿真流量压测 一、防微杜渐:异常SQL防御体系建设 1.SQL治理阶段 如上图所示,SQL治理的基本阶段主要包括开发 在开发阶段,研发通常不受相应开发规范和SQL审核约束。从开发到测试或生产发布时,才会进行DDL和DML的审核。目前业内SQL治理,主要还是在SQL出问题之后进行相应的治理。 之所以要把治理能力前置到测试阶段,是因为越早发现有问题的SQL,对整体治理或改造的成本就越低,对生产的影响也越小。 2)新增SQL检测 新增SQL检测是指在SQL执行到生产环节之前,将它拦截。 2SQL挖掘:深度治理 基于全量SQL分析表、索引是否已废弃,不同db的热点表、热点SQL,单条SQL RT是否稳定,甚至可以分析表的活跃数据情况等治理场景。

    57930编辑于 2023-09-04
  • 来自专栏技术杂记

    SQL 精编(2

    ); CREATE DATABASE `test`; ---- insert INSERT INTO tbl_name (col1,col2) VALUES(15,col1*2); insert into teamstemp select * from teams; insert into table_a(field_a1,field_a2,field_a3) select field_b1,field_b2 ,a_name,b_cumsum,c_cumsum,d_spent,e_rate,created_at,updated_at abc_def into outfile "/tmp/tmp_xyz.sql .2"; ---- optimize table mysql> select concat('optimize table ',TABLE_SCHEMA,'.' data load data infile "/tmp/abcdef.sql.925.2" into table abc_def; use xxx; source fff.sql;

    50220发布于 2021-10-19
  • 来自专栏ShyNodes

    my2sql

    my2sql简介 go版MySQL binlog解析工具,通过解析MySQL binlog ,可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等,也可以生成DML统计信息。 类似工具有binlog2sql、MyFlash、my2fback等,本工具基于my2fback、binlog_rollback工具二次开发而来。 产品性能对比 binlog2sql当前是业界使用最广泛的MySQL回滚工具,下面对my2sql和binlog2sql做个性能对比。 my2sql binlog2sql 1.1G binlog生成回滚SQL 1分40秒 65分钟 1.1G binlog生成原始SQL 1分30秒 50分钟 1.1G binlog生成表DML统计信息、以及事务统计信息 采用下载已经编译好的二进制版本 有编译好的linux版本(CentOS release 7.x) 点击下载Linux版 下载好后,上传至服务器/usr/local/下 授予执行权限chmod +x /usr/local/my2sql

    62120发布于 2021-07-27
  • 来自专栏合集

    2】My SQL 管理

    | +--------------+--------------+------------------+ | localhost | guest | 6f8c114b58f2ce9e 你可以在以上实例看到用户密码加密后为: 6f8c114b58f2ce9e. 注意:在 MySQL5.7 中 user 表的 password 已换成了authentication_string。 Shutdown_priv Process_priv File_priv Grant_priv References_priv Index_priv Alter_priv 另外一种添加用户的方法为通过SQL 注意: MySQL 的SQL语句以分号 (;) 作为结束标识。

    82490发布于 2018-04-12
  • 来自专栏Java架构师历程

    sql必会基础2

    在已经存在的表上创建唯一索引 1、CREATE UNIQUE INDEX index_name ON table_name ( field_name [(index_length)] [ASC|DESC]) 2、 在已经存在的表上创建全文索引 1、CREATE FULLTEXT INDEX index_name ON table_name ( field_name [(index_length)] [ASC|DESC]) 2、 039 删除视图 DROP VIEW view_name[, view_name] 040 修改视图 1、CREATE OR REPLACE VIEW view_name AS select_query 2、 1、可以处理拥有上千万条记录的大型数据 2、支持常见的SQL语句规范 3、可移植行高,安装简单小巧 4、良好的运行效率,有丰富信息的网络支持 5、调试、管理,优化简单(相对其他大型数据库) 051 如何解决 1、在数据库安装的时候指定字符集 2、如果在安完了以后可以更改以配置文件 3、建立数据库时候:指定字符集类型 4、建表的时候也指定字符集 052 如何提高MySql的安全性?

    86810发布于 2018-09-26
  • 来自专栏快乐阿超

    lambda2sql

    ——高尔基 分享一个开源项目lambda2sql: https://github.com/ajermakovics/lambda2sql 编写如下的lambda person -> person.getAge () < 100 && person.getHeight() > 200 会被转换为 age < 100 AND height > 200 使用起来非常简单,也非常有意思 package lambda2sql ; import org.junit.Assert; import org.junit.Test; public class Lambda2SqlTest { @Test public void person.getAge() > age); } private void assertEqual(String expectedSql, SqlPredicate<Person> p) { String sql = Lambda2Sql.toSql(p); Assert.assertEquals(expectedSql, sql); } }

    15320编辑于 2023-06-23
  • 来自专栏IT码农

    Yii2 SqlDataProvider 原生sql 执行sql

    =:status ', [':status' => 1])->queryScalar(); $dataProvider = new SqlDataProvider([ 'sql

    1.3K31发布于 2019-09-29
  • SQL 审核解决了部分问题,另一部分是慢 SQL 治理

    因为审核解决的是“降低变更风险”,慢 SQL 治理解决的是“已经出现慢 SQL 后怎么持续处理”。这两件事都重要,但不是同一层级的问题。 维度SQL 审核慢 SQL 治理核心问题别乱改已经慢了怎么办关注点谁能提交、谁来审批、能不能执行哪类 SQL 变多、哪个模板优先、改完有没有效发生时机变更前运行中 + 变更后成功标准没有违规变更慢 SQL 这样一来,SQL 审核就不再是孤零零的一步,而是被放回数据库日常治理链路里。 回到 SQL 窗口分析执行计划确定需要优化的 SQL 后,可以在 SQL 窗口执行:EXPLAIN <SQL语句>。 更能显著节省时间的,不是再多一层审核,而是慢 SQL 这条链路终于能被持续治理。审核管的是“降低变更风险”,治理管的才是“持续稳定”。

    3410编辑于 2026-03-27
  • 来自专栏一个爱吃西瓜的程序员

    学习SQL2】-数据库与SQL

    2:为什么DBMS那么重要? 答:DBMS能够实现多个用户同时安全简单的操作大量数据。 3:DBMS的种类 ● 层次数据库(HDB):最古老的数据库之一,现在已经很少使用了。 ● DB2:IBM公司的RDBMS。 ● PostgreSQL:开源的RDBMS。 ● MySQL:开源的RDBMS。 2:表的结构 ● 用来管理数据的二维表在关系数据库中简称为表。 ● 根据SQL语句的内容返回的数据同样是二维表格式。 ● 表的行称为记录,表的列称为字段。 三:SQL概要 1:标准SQL 国际标准化组织(ISO)为SQL制定了相应的标准,以此为基准的SQL称为标准SQL 虽然不同的RDBMS存在一些特使的SQL语句,但学会标准SQL就可以在各种RDBMS 2SQL语句及其种类 SQL使用关键字、表名、列名等组合成一句SQL语句来描述操作的内容。 根据指令种类不同,SQL语句可分为三种: ● DDL(数据定义语言):用来创建和删除数据库或表等对象。

    5K90发布于 2018-04-04
  • 来自专栏希里安

    微服务治理?容器治理

    可识别英语、俄语、中文等语言,感兴趣的可以看下--[Translumo](https://github.com/Danily07/Translumo) 微服务和容器治理 微服务治理和容器治理都是与分布式应用程序和容器化部署相关的领域 微服务治理(Microservices Governance): 微服务治理是管理和维护微服务架构中的各个微服务组件的一系列策略、实践和工具。 自动化: 自动化是微服务治理的核心,包括自动部署、自动伸缩和自动化测试等。 容器治理(Container Orchestration): 容器治理是管理容器化应用程序的一系列策略和工具。 容器治理实例 容器治理是确保容器化应用程序在分布式环境中可靠运行的一组实践和工具。 容器治理: 安全性容器治理可以管理访问控制、证书管理和数据加密,以确保数据的保密性和完整性。

    1K40编辑于 2023-10-30
领券