- 综合排序
- 最热优先
- 最新优先
- 来自专栏IT技术分享社区
数据库知识：SQL优化10个经典案例场景实战
改用其他实现方式：ES、数仓等 数据碎片处理 场景分析 案例1、最左匹配 索引 KEY `idx_shopid_orderno` (`shop_id`,`order_no`) SQL语句 select ; 对于大分页的场景，可以优先让产品优化需求，如果没有优化的，有如下两种优化方式， 一种是把上一次的最后一条数据，也即上面的c传过来，然后做“c < xxx”处理，但是这种一般需要改接口协议，并不一定可行 select * from _order where shop_id = 1 and order_status in (1, 2, 3) order by created_at desc limit 10 语句 select * from _order where shop_id = 1 and created_at > '2021-01-01 00:00:00' and order_status = 10 案例9、asc和desc混用 select * from _t where a=1 order by b desc, c asc desc 和asc混用时会导致索引失效 案例10、大数据
2.1K60发布于 2021-09-30 - 来自专栏学习与分享
Redis的10种使用场景
今天这篇文章就跟大家一起聊聊，我在实际工作中使用Redis的10种场景，希望对你会有所帮助。 1. 统计访问次数 对于很多官方网站的首页，经常会有一些统计首页访问次数的需求。 访问次数只有一个字段，如果保存到数据库中，再最后做汇总显然有些麻烦。 该业务场景可以使用Redis，定义一个key，比如：OFFICIAL_INDEX_VISIT_COUNT。 做分布式锁 分布式锁可能是使用Redis最常见的场景之一，相对于其他的分布式锁，比如：数据库分布式锁或者Zookeeper分布式锁，基于Redis的分布式锁，有更好的性能，被广泛使用于实际工作中。 比如：限制同一个ip，1分钟之内只能访问10次接口，10分钟之内只能访问50次接口，1天之内只能访问100次接口。 如果超过次数，则接口直接返回：请求太频繁了，请稍后重试。 生成全局ID 在有些需要生成全局ID的业务场景，其实也可以使用Redis。
3.1K20编辑于 2024-07-19 - 来自专栏猫头虎博客专区
MySQL数据库索引失效的10种场景你知道吗？
今天就跟大家一起聊聊，mysql数据库索引失效的10种场景，给曾经踩过坑，或者即将要踩坑的朋友们一个参考。 1. 准备工作 所谓空口无凭，如果我直接把索引失效的这些场景丢出来，可能没有任何说服力。 1.3 查看数据库版本 为了防止以后出现不必要的误会，在这里有必要查一下当前数据库的版本。不说版本就直接给结论，是耍流氓，哈哈哈。 而使用select *查询所有列的数据，大概率会查询非索引列的数据，非索引列不会走索引，查询效率非常低。 4. 这个需求太简单了吧，sql语句如下： explain select * from user where code like '10%'; 执行结果： 图中看出这种%在10右边时走了索引。 使用or关键字 我们平时在写查询sql时，使用or关键字的场景非常多，但如果你稍不注意，就可能让已有的索引失效。 不信一起往下面看。
1.4K10编辑于 2024-04-08 - 来自专栏7DGroup
性能场景之数据
在数据这一方面，有几个地方是要注意的。 DB中的，包含各种类型的数据库；2. Cache中的，包含各种类型的cache；3. 压力工具中的，参数化数据。 在执行场景之前，需要知道前两个里面的数据是什么状态。然后再判断压力工具中应该如何加载数据。 之前我写过一个实例文章说数据不均衡导致的问题的。 《性能分析之数据不均衡导致TPS下降》 数据对性能场景的执行结果太重要了，以至于说如果数据不合理，测试结果是完全不合理。也就是白干了。 如何让数据合理呢？ 其实分析了场景之后也就非常清晰了。 就是用真实的数据。 但是在测试环境中，有非常多的实际测试实施中都没有线上的真实数据。 那就必须要造出符合业务规则的数据。有几种方式： 在数据库中直接插入数据。 做查询的时候如果涉及到时间范围查询，要关注下是否符合真实业务场景。 从真实环境中导出数据并脱敏。有很多公司都有专门的数据脱敏工具，特别是金融相关系统。
39420发布于 2019-07-17 - 来自专栏瓜农老梁
Nacos10# 健康检查类型与场景
引言 Nacos支持众多健康检查类型，心跳、HTTP、TCP、MySQL等类型，这些都作用于什么场景？他们又是如何实现的呢？本文就撸一撸这个。 探活只有在持久节点注册时才会支持 探活支持HTTP、TCP、Mysql三种探活类型 HTTP通过检测返回200状态码标记是否健康 TPC通过Channel连接方式标记是否健康 Mysql则保证当前节点为主节点，可用于主从切换场景 相信通过代码走查，对其使用场景和实现不再陌生。
1.3K20发布于 2021-08-06 - 来自专栏小詹同学
数据清洗最基础的10个问题，基本涵盖目前常见的数分场景！
今天分享一个数据分析中最常见的概念：数据清洗。 很多时候，数据预处理和数据清洗、特征工程等混为一谈，以至于大家分不清到底哪一步用谁。 以下总结了在数据预处理和特征工程阶段最常见的10个问题，基本上可以涵盖大多数的处理场景： 什么是数据 EDA？ EDA：Exploratory Data Analysis，译为：探索性数据分析。 数据 EDA 是在拿到数据之后对数据进行初步探索认识的一个过程，在数据 EDA 阶段，并不对数据做任何处理，只进行数据探索，而在特征工程阶段会对数据进行相关操作。 具体的，数据 EDA 有如下作用： 了解数据的分布、特征的类别，以及发现离群点数据。 在针对此类数据样本一般使用如下方法： 尝试扩大数据集，比如通过延长时间线来收集数据，将三个月的用户数据延长到六个月以增加数据量； 对数据集进行抽样，一种是进行欠采样，通过减少较多类的数据样本来降低数据的不平衡
2.2K20发布于 2021-04-19 - 来自专栏大数据和云计算技术
大数据仓库－场景
传统OLTP/OLAP之分 数据仓库里面有OLTP/OLAP之分，OLTP是传统关系型数据库的主要应用，其主要面向基本的、日常的事务处理，例如银行交易。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 大数据场景下的同与不同 1、大数据时代，大数据仓库面对的最基本，最典型的场景还是传统的OLAP场景，最明显的区别是数据规模的急剧膨胀，从传统的单表千万级，到现在单表百亿，万亿。 2、大数据时代，数据价值越来越大，分析手段和分析工具的越来越多。传统sql包打天下的局面可能就不行了，sql,python,R,BI工具/可视化工具都有需求。 所以除了性能之外，大数据仓库必然在接口上需要做更多。 3、云化带来的挑战。it基础设施云化的趋势不可逆转。云上的易用，安全，可服务性都是很大的挑战。
1.2K100发布于 2018-03-08 - 来自专栏云计算D1net
边缘计算可以带来新价值的10种场景
“边缘计算最大的好处是能够更快地利用数据和洞察力。”Forrester公司副总裁兼首席分析师Brian Hopkins说，“缩小数据生成方式与数据提供洞察力方式之间的差距，可以创造竞争优势。” 根据调研机构Gartner公司的报告，到2022年，超过一半的企业数据将在传统数据中心和云平台之外的边缘产生和处理，目前约为10%。 以下是边缘计算可为组织带来新价值的10种场景： 1.自动驾驶汽车 Bittman说，自动驾驶汽车需要能够自我学习，而无需连接到云端来处理数据。 加强学习等机器学习技术不依赖于训练大数据集的大型模型，与其相反，可以直接由汽车的计算机自行进行处理，这实质上是边缘计算。 “其数据并不在云端，也不在数据中心进行处理，而是在汽车的计算机中进行处理。 10.雾计算 Hughes说，雾计算是一种使用边缘设备连接到分布式计算模型的架构。他补充说，分布式计算系统能够利用边缘计算不足和循环的连续性。
59930发布于 2018-10-24 - 来自专栏苏三说技术
聊聊索引失效的10种场景，太坑了
今天就跟大家一起聊聊，mysql数据库索引失效的10种场景，给曾经踩过坑，或者即将要踩坑的朋友们一个参考。 1. 准备工作 所谓空口无凭，如果我直接把索引失效的这些场景丢出来，可能没有任何说服力。 1.3 查看数据库版本 为了防止以后出现不必要的误会，在这里有必要查一下当前数据库的版本。不说版本就直接给结论，是耍流氓，哈哈哈。 而使用select *查询所有列的数据，大概率会查询非索引列的数据，非索引列不会走索引，查询效率非常低。 4. 这个需求太简单了吧，sql语句如下： explain select * from user where code like '10%'; 执行结果： 图中看出这种%在10右边时走了索引。 使用or关键字 我们平时在写查询sql时，使用or关键字的场景非常多，但如果你稍不注意，就可能让已有的索引失效。 不信一起往下面看。
1.7K50编辑于 2022-08-25 场景题：10亿QQ用户，如何统计在线人数？
现在卷的环境下，面试除了八股文+算法+项目外，场景题也是问的越来越多了。一方面是就业市场竞争者较多所带来的必然结果；另一方面是公司对于应聘者的技术要求也越来越高了。 今天继续介绍Java面试常见的场景题：在线人数统计现在用户数量是亿级，如何统计在线人数有多少？场景分析QQ用户就是亿级的场景，我们如果使用常规的数据库解决方案是不能满足要求的。 例如：在数据库中给每个QQ用户添加一个状态，上线为1，下线为0，然后统计状态为1的数据总量，就能获取在线人数了。 但是，大规模用户频繁上、下线操作，频繁读写数据库，带来巨大 IO 压力，数据库并不能满足性能要求。 反之，值为0表示下线统计在线人数，只需要统计1的个数即可内存占用分析10亿QQ号，位数组的空间位是10亿，占用内存大小为：10亿 * 1bit / 8 / 1024 / 1024 = 119.2MB，分析得出占用的内存非常小具体实现上一篇写了
90410编辑于 2025-03-05- 来自专栏Lansonli技术博客
大数据应用场景
电商方面 精准广告位，通过对用户的浏览行为，点击行为等进行大数据采集，分析，挖掘用户的二层三层喜欢，扩大产出。 交通方面 目前，交通的大数据应用主要在两个方面:一方面通过对车流量等海量数据的收集，估算，预测该路段一定时间内的车流量情况，给用户提供便利，合理进行道路规划；另一方面可以利用大数据来实现即时信号灯调度， 电信方面 智慧营业厅，通过对用户当前的行为习惯、偏好，节假日的相应数据变化，调节自身业务结构，做到按需分配。 安防方面 人脸识别，通过人脸识别，--匹配，存储用户数据，结合人工智能，分析及甄别用户行为，预防犯罪行为发生 医疗方面 智慧医疗，通过对海量病例大数据的存储，匹配、检索、结合用户的饮食、行为等习惯，搭建智慧医疗体系 物流方向 FRA 通过大数据解决方案得出司机工作表现的若干预测模型，解决了事故发生率和人员流动等人事部门的问题。
70310发布于 2021-10-04 - 来自专栏小火龙说数据
「干货」数据分析常用的10种统计学方法，附上重点应用场景
00 序言 从起源角度来看，数据分析是「统计学」与「计算机」的交叉学科，统计知识应用其中；从工作角度来看，应用统计学知识，可以更为科学的度量数据对业务的价值。 因此，作为数据分析同学，掌握基础的统计学知识是非常有必要的。下面，小火龙为大家总结了「工作中常用的10种统计学方法」。 涵盖内容如下： 工作中主要应用场景如下： 【应用场景参考文章，可戳蓝字部分】 周报/月报：「如果完成一份高质量的数据周报/月报」 02 假设检验「常用指数：5星」 假设检验，用于判断样本与样本、样本与总体之间的差异 10 因子分析「常用指数：2星」 因子分析的作用同主成分分析一样，同样是为了「降维」。原理是在多自变量之间，寻找潜在的因子，相似变量归为一个因子，通过因子替代原有的自变量。 以上10种统计学方法在工作中较为常见，但方式不止于此，还包括：信度分析、生存分析、多重响应分析、距离分析等。有待你在工作中不断探索、发掘场景，并将知识应用其中。 以上就是本期的内容分享。
8.8K14编辑于 2022-06-30 - 来自专栏IT大咖说
数据持久化层场景实战：业务场景+数据库分区+冷热分离概述
◆ 冷热分离 本文讲的第一个场景是冷热分离。简单来说，就是将常用的“热”数据和不常使用的“冷”数据分开存储。 本章要考虑的重点是锁的机制、批量处理以及失败重试的数据一致性问题。 首先介绍一下业务场景。 ◆ 1.1 业务场景：几千万数据量的工单表如何快速优化 这次项目优化的是一个邮件客服系统。 项目组收到邮件后，详细分析了一下当时的数据状况，情况如下。 1）工单表已经达到3000万条数据。 2）工单表的处理记录表达到1.5亿条数据。 3）工单表每日以10万的数据量在增长。 下面具体说一下该业务场景中的数据表。工单表ticket中的关键字段见表1-1。 表1-1 工单表关键字段 工单表最主要的几个查询语句如下。 简单估算一下：客服频繁操作的工单基本上都是1个月内的工单，按照后期一天10万来算，也就是300万的数据，这样数据库的非归档区基本就没什么压力了。
98220编辑于 2022-07-18 - 来自专栏用户9257747的专栏
10 种 Spring 事务失效的常见场景，你知道几个？
但是，事务如果没有被正确出，很有可能会导致事务的失效，带来意想不到的数据不一致问题，随后就是大量的人工接入查看和修复数据，该篇主要分享Spring事务在技术上的正确使用方式，避免因为事务处理不当导致业务逻辑产生大量偶发性 在分析事务失效的常见场景之前，我们先来了解一下：事务的传播类型 和 @Transactionnal 注解的不同属性的含义。 Spring事务失效的场景 1. 数据库不支持事务 Spring事务生效的前提是连接的数据库支持事务，如果底层的数据库都不支持事务，则Spring事务肯定会失效的，例如：使用MySQL数据库，选用MyISAM存储引擎，因为MyISAM存储引擎本身不支持事务 10. 多线程调用 在实际项目开发中，多线程的使用场景还是挺多的。如果Spring事务用在多线程场景中使用不当，也会导致事务无法生效。
2K20编辑于 2023-02-23 - 来自专栏bisal的个人杂货铺
查询提速10倍的SQL性能优化场景方案介绍
调优SQL有很多路径，包括SQL改写、SQL逻辑调整、应用逻辑调整，没有千篇一律，更多是针对具体的场景，选择合适的方案。技术社群的这篇文章《逆天改命！仅一行SQL，查询时间提速10倍！》 通过不同的方案，讲解一个常见场景的优化，而且有些设计思路可以借鉴到实际的应用系统设计中，让其性能水准得到充分发挥。
14810编辑于 2025-11-12 - 来自专栏bisal的个人杂货铺
MySQL数据导入方案场景推荐
使用用 source xxx.sql 导入， 耗时 10 分钟。 推荐第一种，都是单线程。 50G 的场景中，更推荐 mydumper。 补充场景，支持导出 CSV，也支持 --where 过滤。 MySQL_Shell > exportTable 单表导出，耗时 10 秒。 4综上所述 可以通过数据大小进行选用: 导出 导入 优点 推荐度（效率） mysqldump source xxx.sqlMySQL< xxx.sql 原生，可远程 ⭐⭐⭐数据量<10G mydumper
61010编辑于 2023-10-19 - 来自专栏mysql
hhdb数据库介绍(10-10)
功能入口： 在管理平台页面中点击配置->节点管理->"切换"使用须知：配置了数据节点高可用切换规则，且已经动态加载到计算节点 节点下主从、双主的复制关系已经搭建好，且复制延时时间不得超过10秒MGR节点不支持手动切换 若取消master_delay后的复制延迟仍大于10s，则不允许切换，master_delay也会恢复之前设置的值。 如果优先级最高的从存储节点不可用或延迟超过10秒，程序将从剩余切换规则中依次选择优先级最高的进行切换，如果均不可用或延迟超过10秒，则切换失败，提示错误（切换失败日志提示 switch datasource 数据节点管理每个数据节点都有自己的详情页面，用户可以在此页面中管理该数据节点的基本信息、存储节点以及数据节点切换规则。 点击“编辑”按钮可为数据节点修改名称。点击“刷新”按钮可刷新数据节点下主备存储节点的状态。逻辑库框内显示与该数据节点存在关联的逻辑库名称。表信息框内显示在该数据节点下创建的表名称。
24310编辑于 2024-12-05 - 来自专栏QQ大数据团队的专栏
【融合创新】六成TOP10券商选择腾讯云大数据平台，加速适配AI场景
点击蓝字 关注我们 本文共计1613字 预计阅读时长5分钟 12月24日，腾讯云官方公号披露，在国内TOP10券商中，已有超过6成选择腾讯云，构建新一代国产大数据平台，用于支撑面向AI时代的数据基础设施升级 过去十多年，以CDH为代表的传统大数据平台，长期支撑着券商的数据分析和经营决策，主要用于报表统计、批量计算等场景。 但随着财富管理向智能化演进，智能投顾、AI 风控、实时监测等场景逐步成为常态，数据“随时可用”的需求显著提升。 在数据湖分析加速场景，相关查询效率可提升5倍以上，并支持云原生形态下的弹性扩缩容，单集群可支撑万级节点规模。 截至目前，腾讯云大数据平台已服务超过2000家金融、政务等行业客户，节点管理规模突破10万。在金融领域，已助力中国银行、中信银行、光大银行、太平人寿等头部机构，实现大数据平台的自主创新升级。
41310编辑于 2025-12-29 - 来自专栏数据分析之旅
数据分析场景 -- 异常数据分析
对于异常数据的分析，相信每位数据分析师都不陌生，对于业务部门来说同样很希望了解数据分析的思路。 去年同期也写过类似的一篇异常数据分析文章，过了一年后有了更进一步的思路和想法，因此再次分享一下，对于数据分析师常见的“异常数据分析”。 分析思路包括以下5个步骤： 1. 当然作为数据分析师也可能凭借数据敏感，发现异常数据。 这个步骤主要思考4个小问题： 什么叫异常数据？ 异常数据真的是问题吗？对比标准是什么：KPI？去年同期？ 竞争对手等等 数据出口、指标计算口径是一致的吗？ 数据的真实性如何？有没有宕机、传输有没有丢包、数据流转是否有预警等等 2. 判断问题严重吗？ 具体问题具体分析，找出原因 分析原因和分析方法一定是结合着具体场景的。
2.4K10764发布于 2020-08-12 - 来自专栏Metaverse元宇宙
科技行业10月元宇宙：关注场景拓展与硬件新品
整体来看，技术革新助力信息传递降本增效、场景拓展，精神娱乐需求持续增长，消费娱乐化升级促行业扩容，我们持续看好元宇宙未来发展前景，建议关注VR 内容场景拓展及硬件新品发布。 阿里巴巴加速试点元宇宙营销，9 月入职首位超写实数字人AYAYI.Unity 收购远程桌面和流媒体技术公司Parsec，增强多场景服务能力。 硬件：消费级AR 临近，大厂加速研发 新品：9 月10 日Facebook 发布与雷朋联合推出的智能眼镜Ray-BanStories;爱奇艺VR 一体机“奇遇3”正式上线，VR 战略2.0 落地;Nreal 本期聚焦：眼动追踪——优化显示技术与人机交互，为软件服务提供数据眼动追踪技术在VR/AR/MR 等头戴式设备上具有多种应用方向，通过追踪用户注视点，设备能够实现计算资源的高效分配、沉浸感更强的显示效果、 人机之间更加流畅的交互，改善产品的使用体验;也可以为软件服务商提供数据，通过分析用户的生理、心理状态，进行内容和商品的推荐、判断用户身体健康状况、实现支付确认。
29120编辑于 2022-03-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号