- 综合排序
- 最热优先
- 最新优先
- 来自专栏学习道路指南
慢SQL的治理经验
慢SQL不仅会影响系统的响应速度，还可能导致数据丢失或损坏，给企业带来巨大的损失。因此，慢SQL的治理成为了数据库管理的重要任务之一。 本文将分享一些慢SQL的治理经验，包括如何识别、分析和优化慢查询。通过了解慢查询的原因和解决方法，我们可以提高数据库的性能和稳定性，为企业的业务发展提供更好的支持。 一、慢SQL导致的后果 我一般认为的慢SQL的定义，执行超过1s的SQL为慢SQL。 系统的响应时间延迟，影响用户体验。 资源占用增加，增高了系统的负载，其他请求响应时间也可能会收到影响。 可以使用Druid SQL Parser进行SQL解析，Druid SQL Parser是阿里巴巴的开源项目，可以将SQL语句解析为语法树，可以解析SQL的各个部分，如SELECT语句、FROM语、WHERE 五、总结 总之，慢 SQL 治理需要综合考虑多个方面，包括查询语句优化、参数调整、分区和分片、缓存使用、定期维护和优化、分布式数据库解决方案等。
76510编辑于 2024-01-19 SQL性能治理经验谈
背景SQL数据类型数值这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL 和 NUMERIC)，以及近似数值数据类型(FLOAT、REAL 和 DOUBLE PRECISION 混合日期和时间值TIMESTAMP4'1970-01-01 00:00:01' UTC 到 '2038-01-19 03:14:07' UTC结束时间是第 2147483647 秒，北京时间 2038-1-19 11 :14:07，格林尼治时间 2038年1月19日 凌晨 03:14:07YYYY-MM-DD hh:mm:ss混合日期和时间值，时间戳SQL治理的几条特殊建议【建议】表中的自增列（auto_increment 举例子，通过SQL的内置函数：inet_aton 和 inet_ntoa，完成数值到ip地址，以及ip地址到数值的转换。 更为高阶的方法，选用int来存储时间，使用SQL函数unix_timestamp()和from_unixtime()来进行转换。
47400编辑于 2024-09-19- 来自专栏后台技术汇
SQL治理经验谈：索引覆盖
背景explain - formatid: query sql 的标识idSELECT_TYPE: 查询的类型（SIMPLE/PRIMARY/SUBQUERY/DERIVED/UNION/UNION RESULT 使用到的索引的长度ref: 显示了查询条件类型（const/field_name/func）rows: query查询到的行数量query完成索引命中之后，才会去检查的行总数估算性能耗时：rows用来表示在SQL * from test_like where name like '%11';单列索引，通配符在左侧，select [索引列] 会走索引，type=index，检索性能和二级索引树的数据量相关；sql ：https://www.geeksforgeeks.org/explain-in-sql/官网Mysql的EXPLAIN信息描述：https://dev.mysql.com/doc/workbench /en/wb-performance-explain.html其他文章SQL性能治理经验谈理解到位：灾备和只读数据库记录一次Mysql死锁事件（由Insert与uniqueKey导致）一文带你看懂：亿级大表垂直拆分的工程实践亿级大表冷热分级的工程实践
32100编辑于 2024-09-19 - 来自专栏数据仓库
数据仓库(11)什么是大数据治理，数据治理的范围是哪些
什么是数据治理,数据治理包含哪些方面？大数据时代的到来，给了我们很多的机遇，也有很多的挑战。 最基础的调整也是大数据的计算和管理，数据治理是一个特别重要的大数据基础，他保证着数据能否被最好的应用，保证着数据的安全，治理等。那么数据治理到底能治什么，怎么治？ 数据治理主要包含七个方面。 分布式计算系统运行元数据，如集群上所有作业运行信息，类似于Hive Job 日志，包括作业类型、实例名称、输入输出、 SQL 、运行参数、执行时间、最细粒度的Instance 执行信息等。 如何有效地降低存储资源的消耗，节省存储成本，也是数据治理的一个目标。对于数据存储，目前业界的一些主要的处理方式，包括数据压缩、数据重分布、数据垃圾检测和清理、数据生命周期管理等。 需要数据仓库资料可以点击这个领取数据仓库(13)大数据数仓经典最值得阅读书籍推荐 参考文章：[数据仓库(11)什么是大数据治理，数据治理的范围是哪些 ](https://zhuanlan.zhihu.com
1.1K40编辑于 2023-04-09 - 来自专栏故障治理
从管控角度谈慢SQL治理
一、什么是慢SQL慢SQL是指那些执行效率低下、响应时间长，导致用户等待时间变长和服务器资源利用率下降的SQL查询。那么，如何定义一个SQL查询是"慢"的呢？ 作为横向的风险隐患治理团队，为了对公司内部多个部门多个系统进行慢SQL治理，我们总结了几点经验，仅供参考。 SQL对系统的影响，不方便长期跟踪治理。 而通过慢SQL分析平台，对系统中的慢SQL进行统计、分析、分组，能够准确反映每个慢SQL对系统的影响，实时展示当前系统数据库的慢SQL情况，并可以对慢SQL风险进行数字化打分，方便我们对慢SQL分级治理 3.分级治理、长期追踪慢SQL治理是一个需要长期坚持做的事情，我们的做法是每月取数据库主机cpu使用率TOP10数据库清单，拉出top清单中的TOP5慢SQL（根据评分排序），并组织相关系统进行优化，对比优化前后的负载情况
52310编辑于 2024-09-09 - 来自专栏网安菜鸟成长记
sql-labs-less11less12|SQL注入
前言： 此篇讲解sql-labs系列第11关和第12关，这一关明显跟前面有点不太一样，传参方式由GET传参改为了POST传参，不过除了传参方式有所变化个人感觉其他的注入方法跟第一关差不多，我用的是hackbar 正文： less11: 直接上图： ? 可以看到传入参数以后没有任何回显，这一点跟第一关不太一样，参数名可以通过查看器查看（F12），下面进行测试： ? 可以看到数据库名成功爆出，后面就跟第一关一样了，这里不再讲解，语句可以参考第一篇sql-labs-less1/2 less12: 12关让11关的单引号换为双引号再加上）右括号闭合就可以了，语句如下：
82110发布于 2020-10-28 - 来自专栏机器学习/数据可视化
SQL进阶-11-having子句
SQL进阶-11-having子句 HAVING子句是SQL中非常重要的功能，本文将再次介绍该子句的使用。作者指出：SQL语句处理的对象是集合而不是记录，我们要有面向集合的思考方式。 SQL实现 全称量化实现 所有的队员都是待命，这是一个全称量化的命题，我们使用not exist来表达 都是待命状态等价于没有不是待命状态 -- 1、全称量化实现 select team_id SQL实现 having实现 满足需求城市的特点：排除重复元素前后的个数不同！！！ 如果不存在重复元素，不管是否加上distinct可选项，count的结果是相同的 ? when count(*) <> max(seq) - min(seq) + 1 then '存在缺失编号' else '连续' end as gap from Seqtable; 查找最小的缺失值编号的SQL
94810发布于 2021-03-01 - 来自专栏机器学习/数据可视化
Spark笔记11-Spark-SQL基础
Spark SQL基础 Hive Hive会将SQL语句转成MapReduce作业，本身不执行SQL语句。 作业 将HiveQL解析换成了Spark上的RDD操作 存在的两个主要问题： spark是线程并行，mapreduce是进程级并行 spark在兼容Hive的基础上存在线程安全性问题 Spark SQL 关系数据库在大数据时代下不再满足需求： 用户要从不同的数据源操作不同的数据，包含结构化和非结构化 用户需要执行高级分析，比如机器学习和图形处理等 大数据时代经常需要融合关系查询和复杂分析算法 Spark SQL 解决的两大问题： 提供DF API，对内部和外部的各种数据进行各种关系操作 支持大量的数据源和数据分析算法，可以进行融合 架构 Spark SQL在Hive 兼容层面仅仅是依赖HiveQL解析、Hive 元数据 执行计划生成和优化是由Catalyst（函数式关系查询优化框架）负责 Spark SQL中增加了数据框DataFrame，数据的来源可以是RDD，也可以是Hive、HDFS、Cassandra
58110发布于 2021-03-02 - 来自专栏小工匠聊架构
MyBatis-11MyBatis动态SQL之【if】
动态SQL概述 if概述 在WHERE条件中使用if 需求 1.UserMapper接口中增加接口方法 2.UserMapper.xml配置动态SQL 3.单元测试 在UPDATE条件中使用if 需求 配置动态SQL 3.单元测试 动态SQL概述 MyBatis的强大特性之一就是使用动态SQL，我们在使用JDBC的时候，根据不同的条件拼接SQL语句不仅不能忘了必要的空格，还要注意省略掉列名列表最后的逗号 MyBatis的动态SQL则让你摆脱这种痛苦。 注意SQL中where关键字后面的条件 where 1 = 1, 又有两个条件都是动态的，如果没有1=1这个默认条件，当两个if都不满足时，最后生成的SQL就会以where结束，不符合SQL规范，会报错 id = #{id} 很明显SQL语法是错误的。
89330发布于 2021-08-17 - 来自专栏杨建荣的学习笔记
SQL治理高阶实践：异常防御体系建设与应用挖掘
分享概要 一、防微杜渐：异常SQL防御体系建设 二、深度观测：全量SQL分析与挖掘 三、容量预测：数据库仿真流量压测 一、防微杜渐：异常SQL防御体系建设 1.SQL治理阶段 如上图所示，SQL治理的基本阶段主要包括开发 在开发阶段，研发通常不受相应开发规范和SQL审核约束。从开发到测试或生产发布时，才会进行DDL和DML的审核。目前业内SQL治理，主要还是在SQL出问题之后进行相应的治理。 之所以要把治理能力前置到测试阶段，是因为越早发现有问题的SQL，对整体治理或改造的成本就越低，对生产的影响也越小。 4.事后治理 事后治理主要是慢查询治理。 2）SQL挖掘：深度治理 基于全量SQL分析表、索引是否已废弃，不同db的热点表、热点SQL，单条SQL RT是否稳定，甚至可以分析表的活跃数据情况等治理场景。
58730编辑于 2023-09-04 - 来自专栏深度学习与python
“天猫双11”背后的流量治理技术与标准实践
作者 | 赵奕豪 (宿何)：Sentinel & OpenSergo 开源项目负责人 一年一度的天猫双 11 正在火热进行中，大家在疯狂买买买的过程中一定会有疑问：如何保障微服务在双十一的超级峰值下也能如丝般顺滑稳定 OpenSergo 是开放通用的，覆盖微服务及上下游关联组件的微服务治理项目，从微服务的角度出发，涵盖流量治理、服务容错与自愈、服务元信息治理、安全治理等关键治理领域，提供一系列的治理能力与标准、生态适配与最佳实践 、SQL 流控等 服务元信息与服务发现 OpenSergo 提供 Java、Go 等多语言的 SDK，各个框架生态可以非常方便地通过 OpenSergo SDK 来对接 OpenSergo 标准配置，接入到 Sentinel 在内部承载非常多的服务可用性与容错的场景，保障了近十年天猫双 11 流量峰值的稳定。 FallbackAction: 触发后的 fallback 行为，如返回某个错误或状态码 无论是 Java 还是 Go 还是 Mesh 服务，无论是 HTTP 请求还是 RPC 调用，还是数据库 SQL
1.2K20编辑于 2022-11-28 - 来自专栏Java项目实战
1100万大表11秒SQL优化
时间:上周六刚刚从外面回来，报出生产数据慢SQL开始优化select t.x te.xfrom o_detail tleft join p_detail teon t.A = te.A and t.B
27830编辑于 2023-06-30 SQL 审核解决了部分问题，另一部分是慢 SQL 治理
因为审核解决的是“降低变更风险”，慢 SQL 治理解决的是“已经出现慢 SQL 后怎么持续处理”。这两件事都重要，但不是同一层级的问题。 维度SQL 审核慢 SQL 治理核心问题别乱改已经慢了怎么办关注点谁能提交、谁来审批、能不能执行哪类 SQL 变多、哪个模板优先、改完有没有效发生时机变更前运行中 + 变更后成功标准没有违规变更慢 SQL 这样一来，SQL 审核就不再是孤零零的一步，而是被放回数据库日常治理链路里。 回到 SQL 窗口分析执行计划确定需要优化的 SQL 后，可以在 SQL 窗口执行：EXPLAIN <SQL语句>。 更能显著节省时间的，不是再多一层审核，而是慢 SQL 这条链路终于能被持续治理。审核管的是“降低变更风险”，治理管的才是“持续稳定”。
9410编辑于 2026-03-2711-2025 年企业级数据治理工具精选盘点
从超大型企业的全域数据整合到中小型企业的精准数据运营，数据治理工具的选择与落地成为关键命题。本文将解析10家国内外主流数据治理与数据中台产品，结合实战案例呈现行业最佳实践。 二、腾讯WeData腾讯WeData是腾讯云旗下企业级数据治理与运营平台，依托腾讯在互联网行业的技术积累，为企业提供数据集成、开发、治理、服务全链路解决方案。 七、InformaticaInformatica是全球数据治理领域的资深厂商，其数据治理解决方案涵盖数据集成、数据质量、主数据管理、数据安全等全维度能力。 九、CollibraCollibra是专注于数据治理领域的国外厂商，其数据治理平台以数据资产化为核心，提供数据目录、数据质量、数据政策管理、数据 lineage 等全流程功能。 平台采用协作式治理模式，支持业务与IT人员协同参与数据治理，通过可视化界面提升操作便捷性。
81510编辑于 2025-11-06- 来自专栏Java项目实战
1100万大表11秒SQL优化
时间:上周六刚刚从外面回来，报出生产数据慢SQL开始优化 select t.x te.xfrom o_detail t left join p_detail te on t.A = te.A and
44520发布于 2021-07-22 - 来自专栏Python与算法之美
11，二维dataframe —— 类SQL操作
你可以像操作excel表一样操作DataFrame：插入行和列，排序，筛选…… 你可以像操作SQL数据表一样操作DataFrame：查询，分组，连接…… 本节我们介绍DataFrame的类SQL操作。 一，表查询 类似 SQL中 select ... where ... 常用的有：布尔索引，query，filter 相关方法 1，利用布尔索引 ? ? ? ? 2，利用query ? ? 三，表分组 表分组类似SQL中的 select ... group by ...操作，可以代替excel表格中的数据透视表功能。 ? 1，分组对象性质 ? ? ? ?
97620发布于 2020-07-20 - 来自专栏希里安
微服务治理？容器治理？
可识别英语、俄语、中文等语言，感兴趣的可以看下--[Translumo](https://github.com/Danily07/Translumo) 微服务和容器治理 微服务治理和容器治理都是与分布式应用程序和容器化部署相关的领域 微服务治理（Microservices Governance）： 微服务治理是管理和维护微服务架构中的各个微服务组件的一系列策略、实践和工具。 自动化： 自动化是微服务治理的核心，包括自动部署、自动伸缩和自动化测试等。 容器治理（Container Orchestration）： 容器治理是管理容器化应用程序的一系列策略和工具。 容器治理实例 容器治理是确保容器化应用程序在分布式环境中可靠运行的一组实践和工具。 容器治理： 安全性容器治理可以管理访问控制、证书管理和数据加密，以确保数据的保密性和完整性。
1K40编辑于 2023-10-30 - 来自专栏JavaPark
SQL 必知必会 50 题（11 - 15）
SQL11 返回更多的产品 描述 OrderItems 表含有：订单号 order_num，quantity 产品数量 order_num quantity a1 105 a2 1100 a2 200 quantity >= 100; SELECT DISTINCT order_num FROM OrderItems WHERE quantity > 100 OR quantity = 100; SQL12 vend_state） vend_name vend_country vend_state apple USA CA vivo CNA shenzhen huawei CNA xian 问题 编写 SQL SELECT vend_name FROM Vendors WHERE vend_country = 'USA' AND vend_state = 'CA'; SQL13 检索并列出已订购产品的清单 描述 quantity BR01 a1 105 BR02 a2 1100 BR02 a2 200 BR03 a4 1121 BR017 a5 10 BR02 a2 19 BR017 a7 5 问题 编写 SQL
74930编辑于 2022-06-15 - 来自专栏自动化、性能测试
Mysql常用sql语句（11）- between and 范围查询
测试必备的Mysql常用sql语句系列 https://www.cnblogs.com/poloyy/category/1683347.html 前言 between and可以判断值是否在指定范围内
2.5K10发布于 2020-06-09 - 来自专栏实时流式计算
【译文】数据治理与BI治理
几十年来，数据治理一直是企业关注的焦点，并随着企业数据量的急剧增长，数据治理的重要性日益凸显。然而，大规模的有效BI治理一直是一个难以实现的目标，因为它需要比传统数据治理更广泛的关注点。 毕竟，如果给用户的交付物不一致，或者缺乏适当的上下文以确保业务用户正确地理解数据，那么所谓高质量、精心治理的数据又有什么价值呢？ 有效的BI治理要求组织为数据和分析的治理建立流程。 BI门户的关键治理角色体现在以下两个场景：独立的BI治理平台，或与数据目录协同工作。 什么是数据治理？ 数据治理是一组确保有效管理和利用数据的过程和技术的集合。 组织中的分析师和数据管理员使用数据治理工具来执行公司治理政策，来促进数据的正确使用。 应用这些工具进行数据治理需要大量的持续投资，因此许多组织希望从这些投资中获得可观的投资回报。 什么是BI治理？
1.5K40编辑于 2023-03-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号