首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL上线,检查数据库设计的“十条合规”

    MySQL作为关系型数据库的典型代表,在国内环境里经历风雨磨砺,不断地精进,已经在开发和运维方面,成型了一套的规范。...这些规范让了解和使用MySQL更加得心应手,并对后期的一些问题起到了很好的预防作用。 结合个人经验,下面具体讲解十个“合规检查”: 1. 数据库大表信息查看 统计某库下各表大小,不要存在过大的表信息。...关于作者 崔虎龙,云和恩墨MySQL技术顾问,长期服务于金融、游戏、物流等行业的数据中心,设计数据存储架构,并熟悉数据中心运营管理的流程及规范,自动化运维等。...擅长MySQL、Redis、MongoDB数据库高可用设计和运维故障处理、备份恢复、升级迁移、性能优化。自学通过了MySQL OCP 5.6和MySQL OCP 5.7认证。...2年多开发经验,10年数据库运维工作经验,其中专职做MySQL工作8年;曾经担任过项目经理、数据库经理、数据仓库架构师、MySQL技术专家、DBA等职务;涉及行业:金融(银行、理财)、物流、游戏、医疗、

    2K70

    “数据二十条“政策解读 学习笔记

    《数据二十条》提出要建立安全可控、弹性包容的数据要素治理制度,建立健全要素市场配套监管制度和措施,有利于指导加快推进数据要素市场高质量发展。...根据《数据二十条》中关于数据产权制度的相关内容,主要可以从两个方面考虑数据确权的问题。一方面是加强对消费者个人隐私权的保护。...根据《数据二十条》中的相关内容,可以围绕数据要素流通和交易需要,培育一批数据商和第三方专业服务机构。...具体针对数据要素市场中数据垄断的问题,《数据二十条》指出,可以“建立健全数据登记及披露机制,增强企业社会责任,打破‘数据垄断’,促进公平竞争。”...根据《数据二十条》的要求,加快推进数据管理能力国家标准贯标及数据要素管理规范贯标工作,推动各部门各行业完善元数据管理、数据脱敏、数据质量、价值评估等标准体系。

    1K30

    InfluxDB 设置数据保留策略,验证保留的数据存储大小

    这样一直保存的话,数据量就会导致偏大。 这时候就要适当调整influxdb的数据存储时长,保留最近一段时间的数据即可。...1.基本概念说明 1.1 InfluxDB 数据保留策略说明 InfluxDB的数据保留策略(RP)用来定义数据在InfluxDB中存放的时间,或者定义保存某个期间的数据。...一个数据库可以有多个保留策略, 但每个策略必须是独一无二的。 1.2 InfluxDB数据保留策略目的 InfluxDB本身不提供数据的删除操作, 因此用来控制数据量的方式就是定义数据保留策略。...因此定义数据保留策略的目的是让InfluxDB能够知道可以丢弃哪些数据, 节省数据存储空间,避免数据冗余的情况。...[root@server influxdb]# 从上面的结果来看,只需要配置管理数据保留策略,就可以控制好数据的存储空间。

    13.4K41

    关于MySQL索引选择,先看看这十条建议

    根据数据唯一性选择索引如果表中的某个字段包含唯一值(例如,员工ID或社会保障号),那么在这个字段上创建索引可能会提高查询性能。唯一索引不仅可以提高查询性能,还可以防止插入重复的数据。...根据数据分布和查询范围选择索引如果表中的数据分布不均匀,或者查询通常涉及到数据的一个小范围,那么在这个范围内的字段上创建索引可能会提高查询性能。...因为数据类型小的列,索引的大小就小,查询速度就快。这是因为数据库对短索引的搜索速度更快,而且短索引占用的磁盘空间也更少。...在MySQL中,你可以使用以下语句创建前缀索引:CREATE INDEX idx_employee_addr ON employees (employee_addr(10));这个索引会占用更少的磁盘空间...这将导致数据库的性能下降,因为更新索引是一个相对耗时的操作。

    2K10

    【mysql】mysql删除重复记录并且只保留一条

    查询全部重复的数据: 2. 删除全部重复试题: 3. 查询表中多余重复试题(根据depno来判断,除了rowid最小的一个) a. 第一种方法: b. 第二种方法: c....补充第三种方法(评论区推荐的一种方法): 二、多个字段的操作: 总结: ---- 最近在做题库系统,由于在题库中添加了重复的试题,所以需要查询出重复的试题,并且删除掉重复的试题只保留其中1条,以保证考试的时候抽不到重复的题...首先写了一个小的例子: 一、单个字段的操作 这是数据库中的表: 分组介绍: Select 重复字段 From 表 Group By 重复字段 Having Count(*)>1 查看是否有重复的数据...mysql不支持这种更新查询同一张表的操作 解决办法:把要更新的几列数据查询出来做为一个第三方表,然后筛选更新。 3. 查询表中多余重复试题(根据depno来判断,除了rowid最小的一个) a....IN适合的情况是外表数据量小的情况,而不是外表数据大的情况,因为IN会遍历外表的全部数据,假设a表100条,b表10000条那么遍历次数就是100*10000次,而exists则是执行100次去判断a表中的数据是否在

    7.3K30

    第09问:MySQL 莫名崩溃,如何保留现场?

    问题 我的 MySQL 偶尔崩溃,如果需要追查原因,应该如何保留现场? 实验 MySQL 随着版本不停迭代,崩溃的现象越来越少,也越来越隐蔽。...一旦遇到生产环境上的 MySQL 崩溃,就需要保留现场信息,供分析用。虽然 MySQL 的 error log 中会打印部分信息,但对于比较隐蔽的崩溃,往往显得力不从心。...我们先安装一个 5.7 的数据库, 将其停掉,按照 bug #95294 的描述变更配置, 手工启动 mysqld,可以看到 mysqld 无声无息的退出了, 检查 error log,可以看到 MySQL...core file 的限制,使其能生成 core dump: 最后,我们要在 MySQL 配置里,允许 MySQL 生成 coredump: 现在我们可以再次运行 MySQL: 可以看到 MySQL...在 error log 中也会有同样的信息: 我们来看一下这个 coredump 文件: coredump 文件会将崩溃当时的内存情况全部保留下来,所以文件体积会比较大。

    1K20

    MySQL事件管理:创建、保留与执行策略详解

    事件管理:创建、保留与执行策略详解 在数据库管理中,定时任务是一种常见的需求,用于执行周期性或特定时间点的任务,如数据备份、日志清理、定时统计等。...本文将详细介绍 MySQL 事件的创建、保留与执行策略,帮助读者更好地理解和使用这一功能。...事件可以执行诸如插入数据、更新表、删除记录等操作,极大地简化了数据库的自动化管理任务。 1.1 事件调度器的启用 在 MySQL 中,默认情况下事件调度器是禁用的。...对于周期性任务,应避免调度时间过于频繁,以免对数据库性能造成影响。例如,对于日志清理任务,可以设置为每天凌晨执行一次。 6.2 使用保留策略优化资源管理 根据任务的性质选择合适的保留策略。...通过合理使用事件的调度时间、保留策略和状态管理,可以实现高效、可靠的定时任务。本文详细介绍了 MySQL 事件的创建、保留与执行策略,并提供了丰富的示例和最佳实践,希望对读者有所帮助。

    37110

    给数据科学家的十条数据安全建议

    这次的 Equifax 信用数据外泄,仅仅是一系列被曝光的严重组织数据泄露事件中,最新的一件。...因此,如果您使用的是完全敏感的数据(即那些您不会自由地向互联网上任意陌生人提供的数据),那么您就有责任确保数据得到适当的保护。 2016年,我明白了数据安全对我的重要性。...尽管对数据科学家来说,收集更多数据以为未来的需求而准备,这是挺诱人的,但这种囤积可能意味着轻微的网络安全事件和重大灾难之间的区别,所以请不要这样做。 了解您所拥有的数据,丢弃您不再需要的数据。...定期清点您手头上的数据,分析每个数据集的敏感度,清除不需要的数据,并考虑采取一定措施降低您存储的数据中固有的风险 —— 例如,通过删除或编辑非结构化文本字段,可以隐藏潜在的敏感数据,比如姓名和电话号码。...如果您不需要在数据集中保留个人身份信息(PII,Personally-identifiable information),则删除这些字段是减少违规带来的潜在影响的显而易见的方法,并且这是在您公开共享数据之前必须采取的步骤

    1.3K30

    丢弃 or 保留?——大数据之异常数据

    有人认为在处理大数据时忽略各种异常数据是最好的做法,为此他们创建了复杂的过滤程序,来舍弃那些异常的信息。在处理特定类型的数据时,这可能算是较为稳妥的做法,因为异常往往会导致结果的不准确。...但实践证明,在某些时候和某些特定的情景中,异常数据要比其他的数据更有价值。对此,我们应该认识到的是“在没有进一步分析的情况下,丢弃数据的做法是不正确的”。...在大数据的世界里,“异常数据”可能只是一个条目,在数百万的数据量中,这一个条目可能并不值得注意。...在需要与其他数据元素区分开来的重要数据中,上述信息就如海底针一般的存在。...——本文摘自《智能数据时代:企业大数据战略与实战》

    84120

    58同城30条数据库三十条军规

    、数据字段必须加入中文注释 解读:N年后谁tm知道这个r1,r2,r3字段是干嘛的 (4)禁止使用存储过程、视图、触发器、Event 解读:高并发大数据的互联网业务,架构设计思路是“解放数据库CPU...数据库擅长存储与索引,CPU计算还是上移吧 (5)禁止存储大文件或者大照片 解读:为何要让数据库做它不擅长的事情?...大文件和照片存储在文件系统,数据库里存URI多好 二、命名规范 (6)只允许使用内网域名,而不是ip连接数据库 (7)线上环境、开发环境、测试环境数据库内网域名遵循命名规范 业务名称:xxx 线上环境...,对MySQL来说更难优化 b)null 这种类型MySQL内部需要进行特殊处理,增加数据库处理记录的复杂性;同等条件下,表中有较多空字段的时候,数据库的处理性能会降低很多 c)null值需要更多的存储空...(29)禁止使用OR条件,必须改为IN查询 解读:旧版本Mysql的OR查询是不能命中索引的,即使能命中索引,为何要让数据库耗费 更多的CPU帮助实施查询优化呢?

    75110
    领券