首页
学习
活动
专区
圈层
工具
发布

日增量500万的表结构如何设计

:每月25号提前创建下个月的分表,避免月底凌晨流量高峰时建表失败自动归档:每月1号自动将6个月前的热数据归档到HDFS冷存储自动删除:归档完成后删除MySQL中的过期表,释放存储空间归档数据查询:通过Presto...@ComponentpublicclassUserBehaviorConsumer{@AutowiredprivateUserBehaviorMapperuserBehaviorMapper;//批量大小...@AutowiredprivateUserBehaviorMapperuserBehaviorMapper;@AutowiredprivateHdfsServicehdfsService;//每次迁移的批次大小...表维度:每个库内再按天分表,表名device_data_YYYYMMDD。这样做的好处是:查单设备历史数据时,能直接定位到某一个库的某一张表,完全没有跨库事务和聚合的压力。...分库扩容数据迁移从16库扩到32库时,历史数据重哈希迁移量大双写+历史渐进迁移:新路由规则上线后,增量数据双写新老库;后台任务按设备ID区间逐批迁移历史数据,校验后切换读流量,整体不停服。

33610
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL设置临时表大小

    临时表是执行sql语句过程中创建的中间过渡表,例如多表联合操作,就需要建立临时表 查看临时表的使用状态 mysql>show global status like 'created_tmp%'; created_tmp_tables...每次创建临时表时都会增加 created_tmp_disk_tables 如果是在磁盘上创建临时表,它会增加 created_tmp_files 表示MySQL服务创建的临时文件数 比较理想的配置是:...created_tmp_disk_tables / created_tmp_tables *100% <= 25% 再看一下临时表的配置: show variables like '%tmp_table_size...%'; tmp_table_size的默认值是32M,说明只有32M以下的临时表才能全部放在内存中,超过的就会用到硬盘临时表 可以适当增加此变量的值,例如 mysql> set session tmp_table_size...=40000000; 因为tmp_table_size变量是有作用域的,所以使用 'session'

    10K70

    精确统计所有库表的大小

    统计每个库每个表的大小是数据治理工作的最基本内容,本文将从抽样统计结果及精确统计结果两方面来统计MySQL的每个库每个表的数据量情况。...1、统计预估数据量 mysql数据字典库information_schema里记录了统计的预估数据量(innodb引擎表不准确,MyISAM引擎表准确)及数据大小、索引大小及表碎片的大小等信息。...如上文所述,统计信息里的数据条数及size是根据部分数据抽样统计的值,与实际大小存在差异,且表越大,差异越明显,如果想知道每张表的实际情况,需用后续的方法。...2、统计实际数据量 想要统计每张表的实际大小就得去遍历每个表算出对的记录数,通过查看表空间大小(每个表独立表空间)查看每个表的size。通过以下步骤即可达到精确统计的目的。...,则建议暂停一段时间 以免后面统计的时候无法获得表及内容,如果前面的步骤都在从库,则可以省略该步骤 echo 'start call procedure' # 调用存储过程 统计每个表的记录条数 /usr

    2.2K10

    Mysql删除表数据,表文件大小不变

    首先明确一个概念,innodb表包含两部分,表结构定义和数据,Mysql8.0以前表结构定义存放在.frm为后缀的文件里,而Mysql8.0版本以后允许表结构定义放到系统数据表中,因为表结构定义占用的空间很小...,因此我今天主要说是表数据, 日常开发中,当我们删除一个表的的数据的时候,发现表空间大小并不会变小,我们要知道为什么会发生这样神奇的事, 参数innodb_file_per_table 表数据可以存在共享表空间里...这个时候插入一条id=50的时候,要创建新的数据页的时候,就会复用pageA, 现在我们知道delete 命令只会把记录的位置或数据页标记为可复用,但是磁盘的文件大小不会变小,也就是说delete并不会回收表空间...总之,经过大量的增删改的表都可能存在空洞,所以,如果能把这些空洞去掉,就能达到收缩表空间的目的,而重建表,就可以达到这样的目的 重建表 试想一下,如果我们需要去掉这些空洞,如何做呢,当然你可以建立一个和...A表一样表B,把数据A的数据复制到表B, 由于表B是新建的表,所以表B不存在空洞,显然表B的主键索引更紧凑,数据页利用率也高,如果我们建立一个临时表B,把数据从表A导入表B的操作完成后,用表B替换A,

    7.1K10

    PostgreSQL 库,表,字段,值大小写的问题

    需要测试的内容如下 1 数据库大小写 2 表名大小写 3 字段大小写 4 字段值得大小写 一些相关的大小写的函数以及数据的转换函数 let's go 1 数据库名的大小写 首先会建立三个数据库名字为...good, 里面插入的数据会有他自己数据库的名字 我们来对这些数据库的表进行访问 通过以上测试,可以得出,数据库的库名是大小写是敏感的,所以在建库的时候,需要注意大小写的问题。...表大小写的测试 我们在test 库中,建立三个表,BIG,big, Big 三个表 在你试着创建第一张表的时候,没有报错,但你在建立第二张表的时候,就开始报错了,我们可以看到test 数据库中只有一张叫...big的表,有人说,那不对我要是先建立 BIG 表呢?...(你可以试试,结果是一样的,postgresql 在一个数据库中只能运行小写表名的存在) 当然如果你非要存储不同大小写的表名,PostgreSQL 也不是不可以,那就是需要加“” 双引号 最后我们来尝试一下字段名和字段值的问题

    6.9K20

    clickhouse查看数据库和表的容量大小

    在mysql中information_schema这个数据库中保存了mysql服务器所有数据库的信息, 而在clickhouse,我们可以通过system.parts查看clickhouse数据库和表的容量大小...Processed 1.04 thousand rows, 520.93 KB (21.95 thousand rows/s., 11.02 MB/s.) 2.查看数据表容量、行数、压缩率 --在此查询一张临时表的信息...Elapsed: 0.008 sec. 3.查看数据表分区信息 --查看测试表在19年12月的分区信息 SELECT partition AS `分区`, sum(rows) AS `...active and database = 'database' and table = 'tablename' group by database, table 结果为:这种结果显示的大小...= 'database' and table = 'tablename' 结果为:这是因为在CH中,和我们hive表不一样,hive表一个分区只会有一条记录,但CH不是,每个分区分为了不同的marks

    4.4K30

    关于MySQL库表名大小写问题

    1.决定大小写是否敏感的参数 在 MySQL 中,数据库与 data 目录中的目录相对应。数据库中的每个表都对应于数据库目录中的至少一个文件(可能是多个文件,具体取决于存储引擎)。...因此,操作系统的大小写是否敏感决定了数据库大小写是否敏感,而 Windows 系统是对大小写不敏感的,Linux 系统对大小写敏感。...默认情况下,库表名在 Windows 系统下是不区分大小写的,而在 Linux 系统下是区分大小写的。列名,索引名,存储过程、函数及事件名称在任何操作系统下都不区分大小写,列别名也不区分大小写。...下面再来看下各个值的具体含义: Value Meaning 0 库表名以创建语句中指定的字母大小写存储在磁盘上,名称比较区分大小写。 1 库表名以小写形式存储在磁盘上,名称比较不区分大小写。...MySQL 在存储和查找时将所有表名转换为小写。此行为也适用于数据库名称和表别名。 2 库表名以创建语句中指定的字母大小写存储在磁盘上,但是 MySQL 在查找时将它们转换为小写。

    9.6K32

    MySQL查看数据库表容量大小

    查看一个数据中所有表的相关信息: (1)可以在命令下使用show table status \G命令查看: (2)如果想知道MySQL数据库中每个表占用的空间、表记录的行数的话,可以打开MySQL的 information_schema...在该库中有一个 TABLES 表,这个表主要字段分别是: TABLE_SCHEMA : 数据库名 TABLE_NAME:表名 ENGINE:所使用的存储引擎 TABLES_ROWS:记录数 DATA_LENGTH...:数据大小 INDEX_LENGTH:索引大小 其他字段请参考MySQL的手册,我们只需要了解这几个就足够了。...所以要知道一个表占用空间的大小,那就相当于是 数据大小 + 索引大小 即可。...例:查看mysql库各表容量大小 select table_schema as '数据库', table_name as '表名', table_rows as '记录数', truncate(data_length

    24.5K01
    领券