首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏学习道路指南

    SQL治理经验

    SQL不仅会影响系统的响应速度,还可能导致数据丢失或损坏,给企业带来巨大的损失。因此,慢SQL治理成为了数据库管理的重要任务之一。 本文将分享一些慢SQL治理经验,包括如何识别、分析和优化慢查询。通过了解慢查询的原因和解决方法,我们可以提高数据库的性能和稳定性,为企业的业务发展提供更好的支持。 一、慢SQL导致的后果 我一般认为的慢SQL的定义,执行超过1s的SQL为慢SQL。 系统的响应时间延迟,影响用户体验。 资源占用增加,增高了系统的负载,其他请求响应时间也可能会收到影响。 可以使用Druid SQL Parser进行SQL解析,Druid SQL Parser是阿里巴巴的开源项目,可以将SQL语句解析为语法树,可以解析SQL的各个部分,如SELECT语句、FROM语、WHERE 五、总结 总之,慢 SQL 治理需要综合考虑多个方面,包括查询语句优化、参数调整、分区和分片、缓存使用、定期维护和优化、分布式数据库解决方案等。

    75810编辑于 2024-01-19
  • SQL性能治理经验谈

    有符号)范围(无符号)用途TINYINT1 Bytes(-128,127)(0,255)小整数值SMALLINT2 Bytes(-32 768,32 767)(0,65 535)大整数值MEDIUMINT3 类型大小( bytes)范围格式用途DATE31000-01-01/9999-12-31YYYY-MM-DD日期值TIME3'-838:59:59'/'838:59:59'HH:MM:SS时间值或持续时间 治理的几条特殊建议【建议】表中的自增列(auto_increment属性),推荐使用bigint类型。 举例子,通过SQL的内置函数:inet_aton 和 inet_ntoa,完成数值到ip地址,以及ip地址到数值的转换。 更为高阶的方法,选用int来存储时间,使用SQL函数unix_timestamp()和from_unixtime()来进行转换。

    47200编辑于 2024-09-19
  • 来自专栏后台技术汇

    SQL治理经验谈:索引覆盖

    背景explain - formatid: query sql 的标识idSELECT_TYPE: 查询的类型(SIMPLE/PRIMARY/SUBQUERY/DERIVED/UNION/UNION RESULT 使用到的索引的长度ref: 显示了查询条件类型(const/field_name/func)rows: query查询到的行数量query完成索引命中之后,才会去检查的行总数估算性能耗时:rows用来表示在SQL utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '邮箱' PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=3 测试数据INSERT into test_like (id, name, age, email)values(1, 'aaa', 111, '1111'),(2, 'aaa', 111, '1111'),(3, /en/wb-performance-explain.html其他文章SQL性能治理经验谈理解到位:灾备和只读数据库记录一次Mysql死锁事件(由Insert与uniqueKey导致)一文带你看懂:亿级大表垂直拆分的工程实践亿级大表冷热分级的工程实践

    31600编辑于 2024-09-19
  • 来自专栏java架构计划训练营

    SpringCloud Hystrix服务治理(3)

    禁止服务超时时间 hystrix: command: default: execution: timeout: enabled: false 3

    45810编辑于 2022-06-14
  • 来自专栏故障治理

    从管控角度谈慢SQL治理

    3.锁等待执行SQL的时候,如遇到表锁或者行锁,只能等待锁被释放,就会导致慢SQL3. 作为横向的风险隐患治理团队,为了对公司内部多个部门多个系统进行慢SQL治理,我们总结了几点经验,仅供参考。 SQL对系统的影响,不方便长期跟踪治理3.分级治理、长期追踪慢SQL治理是一个需要长期坚持做的事情,我们的做法是每月取数据库主机cpu使用率TOP10数据库清单,拉出top清单中的TOP5慢SQL(根据评分排序),并组织相关系统进行优化,对比优化前后的负载情况

    51810编辑于 2024-09-09
  • 3个方面教你看懂数据治理

    90%的人都说不出来,那么今天我就从这三个方面来讲讲数据治理,看完你就有了一个深入的了解了。一、为什么要进行数据治理?要知道,数据治理是为了解决这些实际业务痛点、支撑企业健康发展。 3.控制风险随着《数据安全法》、《个人信息保护法》等法规的出台,不合规的数据处理方式会让企业面临巨额罚款和声誉损失。 了解了数据治理的必要性,那么这项工作应该如何启动和推进?用过来人的经验告诉你,成功的数据治理必须遵循清晰的路径,急于求成往往会适得其反。二、怎么进行数据治理工作? 3.聚焦核心场景千万不要一上来就搞全面治理,不仅费时,问题还是快速没解决,所以最好是从业务价值最高、痛点最明显的场景入手。举个例子:对于“客户主数据”,它关系到所有业务部门,同时它出现的问题很多。 3.技术架构:用什么干技术是让制度高效落地的赋能者。一个典型的数据治理技术架构,会包含以下几层:数据源层:公司里所有的业务系统数据库、文件、日志等。

    30110编辑于 2025-11-10
  • 来自专栏瞎说开发那些事

    3. 服务治理 2 --- Eureka集群

    一、 高可用注册中心 在上一篇[微服务系列] 服务治理—Eureka文章中,介绍了服务注册中心的单节点搭建部署。 然而在常用的微服务结构设计中,一般都是采用分布式的环境,以避免单机故障导致服务调用不可用,所以需要对微服务中的各个组件进行高可用的部署,服务治理中的服务注册中心也是一样。 本章将结合以下的拓扑图构建高可用的服务治理。 ? 三、 快速实践 01 1.

    715100发布于 2018-06-19
  • 来自专栏python3

    sql3

    SCOTT>select ename,sal   2  from emp e,   3  (select deptno,avg(sal) avg_sal from emp group by deptno 2450 MARTIN         1250 SCOTT>select * from (select * from emp order by sal desc) where rownum<=3; from   2  (select row_number() over(partition by deptno order by sal desc) no,ename,sal,deptno   3 

    48710发布于 2020-01-09
  • 来自专栏CodeTime

    SpringCloudAlibaba入门系列(3) - 服务治理组件Nacos

    摘要:服务治理组件Nacos的介绍及应用,它包括了服务注册中心(discovery)和服务配置中心(config)。 3.1 服务治理介绍 先来思考一个问题 通过上一章的操作,我们已经可以实现微服务之间的调用。 什么是服务治理 服务治理是微服务架构中最核心最基本的模块。用于实现各个微服务的自动化注册与发现。 服务注册:在服务治理框架中,都会构建一个注册中心,每个服务单元向注册中心登记自己提供服务的详细信息。 同一微服务的不同环境下共享配置 @RequestMapping("/test-config3") public String testConfig3(){ return env 一般微服务的配置就是一个配置集 3.9 nacos配置持久化 服务器安装Mysql数据库,且版本要求:5.6.5+,创建一个数据库 nacos自带数据库初始化脚本,进入conf目录,执行sql文件nacos-mysql.sql

    65820编辑于 2023-03-08
  • 来自专栏杨建荣的学习笔记

    SQL治理高阶实践:异常防御体系建设与应用挖掘

    分享概要 一、防微杜渐:异常SQL防御体系建设 二、深度观测:全量SQL分析与挖掘 三、容量预测:数据库仿真流量压测 一、防微杜渐:异常SQL防御体系建设 1.SQL治理阶段 如上图所示,SQL治理的基本阶段主要包括开发 在开发阶段,研发通常不受相应开发规范和SQL审核约束。从开发到测试或生产发布时,才会进行DDL和DML的审核。目前业内SQL治理,主要还是在SQL出问题之后进行相应的治理。 之所以要把治理能力前置到测试阶段,是因为越早发现有问题的SQL,对整体治理或改造的成本就越低,对生产的影响也越小。 3.事中兜底 无论防御做得多好,随着数据库容量、QPS的增长,一些SQL会不可避免地逐步恶化为慢SQL,因此要具备兜底能力。 2)SQL挖掘:深度治理 基于全量SQL分析表、索引是否已废弃,不同db的热点表、热点SQL,单条SQL RT是否稳定,甚至可以分析表的活跃数据情况等治理场景。

    58030编辑于 2023-09-04
  • 来自专栏Java架构师历程

    sql必会基础3

    sql文件通用方便移植。 缺点:备份的速度比较慢。如果是数据量很多的时候。就很耗时间。 = 3则可使用id>3 or id < 3 080 数据库性能下降,想找到哪些sql耗时较长,应该如何操作? my.cnf里如何配置? 3.含有NULL的列比较特殊,SQL难优化,如果是一个组合索引,那么这个NULL 类型的字段会极大影响整个索引的效率。 索引 索引的优点:极大地加速了查询,减少扫描和锁定的数据行数。 9.所有的SQL关键词用大写,养成良好的习惯,避免SQL语句重复编译造成系统资源的浪费。 10.联表查询的时候,记得把小结果集放在前面,遵循小结果集驱动大结果集的原则。 11.开启慢查询,定期用explain优化慢查询中的SQL语句。

    1.2K20发布于 2018-09-26
  • 来自专栏python3

    SQL语句大全(3

    1、1=1,1=2的使用,在SQL语句组合时用的较多 “where 1=1” 是表示选择全部    “where 1=2”全部不选, 如: if @strWhere ! strWhere 2、收缩数据库 --重建索引 DBCC REINDEX DBCC INDEXDEFRAG --收缩数据和日志 DBCC SHRINKDB DBCC SHRINKFILE 3、 OldOwner FETCH NEXT FROM curObject INTO @Name, @Owner END close curObject deallocate curObject GO 10、SQL

    93720发布于 2020-01-14
  • 来自专栏python3

    SQL 自学笔记3

    FOREIGN KEY 约束也能防止非法数据插入外键列,因为它必须是它指向的那个表中的值之一。

    63610发布于 2020-01-08
  • 来自专栏技术杂记

    SQL 精编(3

    show show charset; show character set; show char set; show character set like '%utf8%'; show collation like "%utf8%"; SHOW TABLE STATUS FROM `xxx_qa` LIKE 'abc'\G show table status like 'conversations'\G SHOW CREATE TABLE `xxxx_qa`.`abc`\G SHOW INDEX FROM

    63810发布于 2021-10-19
  • SQL 审核解决了部分问题,另一部分是慢 SQL 治理

    因为审核解决的是“降低变更风险”,慢 SQL 治理解决的是“已经出现慢 SQL 后怎么持续处理”。这两件事都重要,但不是同一层级的问题。 维度SQL 审核慢 SQL 治理核心问题别乱改已经慢了怎么办关注点谁能提交、谁来审批、能不能执行哪类 SQL 变多、哪个模板优先、改完有没有效发生时机变更前运行中 + 变更后成功标准没有违规变更慢 SQL 这样一来,SQL 审核就不再是孤零零的一步,而是被放回数据库日常治理链路里。 回到 SQL 窗口分析执行计划确定需要优化的 SQL 后,可以在 SQL 窗口执行:EXPLAIN <SQL语句>。 更能显著节省时间的,不是再多一层审核,而是慢 SQL 这条链路终于能被持续治理。审核管的是“降低变更风险”,治理管的才是“持续稳定”。

    8310编辑于 2026-03-27
  • 来自专栏python3

    3-3 SQL Server 2005数

    3-3 SQL Server 2005数据库优化 了解数据库引擎优化顾问基本内容 掌握数据库引擎优化顾问的使用 掌握通过命令行的方式进行索引的优化——DTA 一个数据库系统的性能依赖于组成这些系统的数据库中物理设计结构的有效配置 3-3-1 数据库引擎优化顾问概述 数据库引擎优化顾问是一种工具,用于分析在一个或多个数据库中运行的工作负荷的性能效果。工作负荷是对在优化的数据库招待的一组T-SQL语句。 下面,我们通过案例的形式介绍数据库引擎优化的具体过程 实验1:数据库索引优化的基本步骤 第一步:启动SQL Server Profiler,准备生成负载测试文件,如图3-6所示。 3-6 启动SQL Server Profiler 图3-7 启动“新建跟踪”项 第三步:登录服务器后,配置跟踪属性,点击保存到文件,将跟踪的TSQL脚本结果保存到用户选择的trc文件中,同时启动文件滚动更新 图3-13 成功优化后的界面 图3-14 命令行方式查看dta的参数 第二步:将实验1通过SQL Server Profiler生成的qs.trc文件作为负载测试文件,将之复制到c盘的根目录下,按照图

    81120发布于 2020-01-07
  • 来自专栏希里安

    微服务治理?容器治理

    可识别英语、俄语、中文等语言,感兴趣的可以看下--[Translumo](https://github.com/Danily07/Translumo) 微服务和容器治理 微服务治理和容器治理都是与分布式应用程序和容器化部署相关的领域 微服务治理(Microservices Governance): 微服务治理是管理和维护微服务架构中的各个微服务组件的一系列策略、实践和工具。 自动化: 自动化是微服务治理的核心,包括自动部署、自动伸缩和自动化测试等。 容器治理(Container Orchestration): 容器治理是管理容器化应用程序的一系列策略和工具。 容器治理实例 容器治理是确保容器化应用程序在分布式环境中可靠运行的一组实践和工具。 容器治理: 安全性容器治理可以管理访问控制、证书管理和数据加密,以确保数据的保密性和完整性。

    1K40编辑于 2023-10-30
  • 来自专栏并发笔记

    手写dubbo框架3-服务治理(服务注册-zookeeper)

    本节涉及博客中代码的module:farpc-registry(服务治理)。 farpc-registry秉承可扩展的设计思路,提供一个接口IRegistrar。 %2f%2f127.0.0.1%3a20880%2fcom.ofcoder.farpc.demo.api.IWelcome%3fanyhost%3dtrue%26application%3ddubbo-demo 3dfixed%26default.threads%3d500%26default.timeout%3d5000%26delay%3d-1%26dubbo%3d2.6.0%26generic%3dfalse %26interface%3dcom.ofcoder.farpc.demo.api.IWelcome%26methods%3dgreet%26organization%3ddemo%26owner%3dofcoder %26pid%3d23541%26revision%3d0.0.1-SNAPSHOT%26side%3dprovider%26timestamp%3d1561962179716][zk: localhost

    79351发布于 2019-07-14
  • 来自专栏实时流式计算

    【译文】数据治理与BI治理

    几十年来,数据治理一直是企业关注的焦点,并随着企业数据量的急剧增长,数据治理的重要性日益凸显。然而,大规模的有效BI治理一直是一个难以实现的目标,因为它需要比传统数据治理更广泛的关注点。 毕竟,如果给用户的交付物不一致,或者缺乏适当的上下文以确保业务用户正确地理解数据,那么所谓高质量、精心治理的数据又有什么价值呢? 有效的BI治理要求组织为数据和分析的治理建立流程。 BI门户的关键治理角色体现在以下两个场景:独立的BI治理平台,或与数据目录协同工作。 什么是数据治理? 数据治理是一组确保有效管理和利用数据的过程和技术的集合。 组织中的分析师和数据管理员使用数据治理工具来执行公司治理政策,来促进数据的正确使用。 应用这些工具进行数据治理需要大量的持续投资,因此许多组织希望从这些投资中获得可观的投资回报。 什么是BI治理

    1.5K40编辑于 2023-03-24
  • 来自专栏悠扬前奏的博客

    MyBatis-3.动态SQL

    MyBatis有以下元素用于处理动态SQL: if choose(when,otherwise) trim(where,set) foreach if 通常用在where子句的一部分: <select = null"> AND author_name like #{author.name} </if> </select> where 元素只会在至少有一个子元素的条件返回 SQL 子句的情况下才去插入 </if> </set> where id=#{id} </update> 本例中,set 元素会动态前置 SET 关键字,同时也会删掉无关的逗号,因为用了条件语句之后很可能就会在生成的 SQL (译者注:因为用的是“if”元素,若最后一个“if”没有匹配上而前面的匹配上,SQL 语句的最后就会有一个逗号遗留) set 元素等价的自定义 trim 元素(注意这里我们删去的是后缀值,同时添加了前缀值 中的可插拔脚本语言 插入一种脚本语言驱动,并基于这种语言来编写动态 SQL 查询语句。

    1.2K51发布于 2019-05-28
领券