首页
学习
活动
专区
圈层
工具
发布

打造次世代分析型数据库(三):列存表最佳实践

OLAP场景列存表的应用比较广泛,而且一般数据量都非常大,会占用很多的磁盘空间。列存高效存储表,因为数据是按列存储的,如果进行压缩的话可以具备很高的压缩比,大大节省磁盘空间。...使用实践 表级别压缩 表级别压缩的级别分为 high/middle/low/no,启用压缩可以降低磁盘存储大小,级别越高,磁盘占用空间越小,压缩也越耗时。...列级别压缩设计 列存表建表时除了可以指定整个表级别的压缩级别外,还支持对某个列单独指定压缩级别,而不依赖整个表的压缩情况,列的压缩级别也分为 high/middle/low/no。...注:每个列的压缩级别是创建表时就确定好的,不支持DDL变更。 分区表压缩 因为分区表父表的列属性全部自动被子表继承,因此所有分区表子表的列压缩级别也继承自父表的列属性的压缩级别。...而父表的列属性的压缩级别依赖于创建表时用户的指定。

1.2K20

分布式 PostgreSQL 集群(Citus),分布式表中的分布列选择最佳实践

目录 确定应用程序类型 概览 示例和特征 多租户应用 实时分析应用 选择分布列 多租户应用 最佳实践 实时应用 最佳实践 时间序列数据 最佳实践 表共置 Citus 中用于 hash 分布表的数据共存...多租户模型中的查询通常以租户为范围,例如销售或库存查询将在某个商店内进行。 最佳实践 按公共 tenant_id 列对分布式表进行分区。...当尽可能多的节点做出贡献并且没有单个节点必须做不成比例的工作时,查询运行速度最快。 最佳实践 选择具有高基数的列作为分布列。...最佳实践 不要选择时间戳作为分布列。 选择不同的分布列。在多租户应用程序中,使用租户 ID,或在实时应用程序中使用实体 ID。 改为使用 PostgreSQL 表分区。...在 Citus 中,具有相同分布列值的行保证在同一个节点上。分布式表中的每个分片实际上都有一组来自其他分布式表的位于同一位置的分片,这些分片包含相同的分布列值(同一租户的数据)。

7.4K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    一文读懂分库分表的技术演进(最佳实践)

    事实上MySQL单表可以存储10亿级数据,只是这时候性能比较差,业界公认MySQL单表容量在1KW以下是最佳状态,因为这时它的BTREE索引树高在3~5之间。...从而导致它的并发能力非常一般,远远达不到互联网高并发的要求! 至于网上提到的一些其他缺点比如:无法使用外键,不支持全文索引。...我认为这都不算缺点,21世纪的项目如果还是使用外键和数据库的全文索引,我都懒得吐槽了!...一般订单表,积分明细表等需要分库分表的核心表都会有好几十列,甚至上百列(假设有50列),但是整个表真正需要参与条件索引的可能就不到10个条件(假设有10列)。...这个方案把es和HBase的优点发挥的淋漓尽致,同时又规避了它们的缺点,可以说是一个扬长避免的最佳实践。

    1.1K40

    YashanDB数据库表设计的最佳实践与注意事项

    设计列存表时需明确冷热数据策略,结合LSC表的活跃切片与稳态切片管理,保障写性能和查询性能的平衡。针对变长列,MCOL支持列转行合并存储,优化空间利用率与访问效率。3....分区键设计分区键作为数据划分依据,需选取查询条件常用且分布均匀的列,避免热点分区。支持多列复合分区键,以实现更加细粒度的数据分布控制。2. 分区索引设计YashanDB同时支持本地分区索引和全局索引。...外键约束设计建立外键约束以实现表间的参照完整性,避免孤立的数据记录。建议在外键列上建立索引以提高关联操作性能,同时减少父表变更时对子表的锁等待及扫描。3....五、表设计与性能优化建议根据业务场景选择合适的存储引擎:联机事务业务优先采用HEAP行存表,OLAP及HTAP场景合理设计MCOL和LSC列存表。...建议广大开发者和DBA结合本文所述的技术原理与最佳实践,着眼系统整体性能与健壮性,持续优化和演进YashanDB数据库设计,实现业务持续高效运行。

    45310

    阿里|美团分库分表实践:分库分表不是银弹!非分表键查询,我踩过的 3 个致命坑

    既然买家查得多,买家的服务体验也更加重要,所以选择买家 ID 进行分库分表收益最大。 你也可以看到这个完全是业务驱动的。最常用的分库分表键有主键、外键、索引列。...如果是范围分库分表,那么日期类型的列也很常用。 主流分库分表方案解析 “余弦:订单表是按照买家 ID 来进行分库分表的之后,如果卖家要查询 ID 应该怎么办?...同时,其灵活性较差,一旦业务需求发生变化,需要新增查询维度,比如增加通过 shop_id(店铺 ID)查询订单,就不得不修改中间表结构,新增相关列,这在实际业务中可能会带来一系列的数据迁移和兼容性问题。...而对于复杂聚合查询或模糊查询,如运营分析订单数据,引入 Elasticsearch 与数据库协同查询是最佳选择。...总结 分库分表本质是通过「牺牲数据完整性」换取性能,但无分表键查询问题倒逼我们在架构设计中引入「反范式」思维: 中间表是「空间换时间」的典型,用冗余映射关系简化查询; 二次分库是「场景隔离」的实践,为不同角色建立专属数据通路

    67710

    对于复杂的网页布局,如多列布局和网格布局,CSS 有哪些最佳实践和技巧?

    对于复杂的网页布局,如多列布局和网格布局,以下是一些CSS的最佳实践和技巧: 使用Flexbox或CSS Grid布局:Flexbox和CSS Grid是两个强大的CSS布局模型,可用于实现复杂的网页布局...使用@media查询来设置不同的布局规则和样式。 使用栅格系统:栅格系统是一种常用的网页布局技术,通过将页面划分为等宽的列和行,使得布局更易于管理和调整。...通过设置元素的position属性为fixed、absolute或relative,可以将元素放置在页面的特定位置。...选择器优化:对于复杂的布局,尽量减少使用通用选择器和后代选择器,以提高性能。使用类选择器和ID选择器来定位和样式化特定的元素。 这些是一些常用的CSS最佳实践和技巧,可以帮助您创建复杂的网页布局。...根据具体的布局需求和设计目标,您可能需要结合多种技术和方法来实现最佳的布局效果。

    2.3K10

    Excel应用实践16:搜索工作表指定列范围中的数据并将其复制到另一个工作表中

    学习Excel技术,关注微信公众号: excelperfect 这里的应用场景如下: “在工作表Sheet1中存储着数据,现在想要在该工作表的第O列至第T列中搜索指定的数据,如果发现,则将该数据所在行复制到工作表...用户在一个对话框中输入要搜索的数据值,然后自动将满足前面条件的所有行复制到工作表Sheet2中。” 首先,使用用户窗体设计输入对话框,如下图1所示。 ?...Set wks = Worksheets("Sheet1") With wks '工作表中的最后一个数据行 lngRow = .Range("A" &Rows.Count...Sheets("Sheet2").Cells.Clear '获取数据单元格所在的行并复制到工作表Sheet2 For Each rngFoundCell...上述两段代码的图片版如下: ? ?

    13.7K20

    2018-11-26 oracle查询表信息(索引,外键,列等)1、查询出所有的用户表2、查询出用户所有表的索引3、查询用户表的索引(非聚集索引):4、查询用户表的主键(聚集索引):5、查询表的索引6

    oracle中查询表的信息,包括表名,字段名,字段类型,主键,外键唯一性约束信息,索引信息查询SQL如下,希望对大家有所帮助: 1、查询出所有的用户表 select * from user_tables...= 外键名称 查询引用表的键的列名: select * from user_cons_columns cl where cl.constraint_name = 外键引用表的键名 9、查询表的所有列及其属性...b.column_name 主键列, c.owner 外键拥有者, c.table_name 外键表, d.column_name...外键列 FROM user_constraints a LEFT JOIN user_cons_columns b ON a.constraint_name = b.constraint_name...' --需要查看主外键关系的表 ORDER BY a.table_name

    5.1K20

    第三篇 外键维表的关联:SPL轻量级文件存储提速查询实践

    关联的一种情况是外键关联。一个表的普通字段(外键)和另一个表的主键关联。比如订单表与客户表、运货商表都是外键关联。外键在关联表中是主键,具有唯一性,SPL 把外键理解成一个对象。...要注意,这里说的是逻辑上的主键,是在表中取值唯一的字段,不一定是在物理表上建立的 primary key。外键也不一定是物理上的 foreign key。另一种关联是主键关联。...下面,我们以订单表、客户表、城市表、州表和运货商表为例,介绍 esProc SPL 外置数据提速外键关联的方法。...修改 orders 表名为 ordersQ3(区别前面的表 ):employee_name 没有维表,要在 ordersQ3 表中找全所有值,新建维表 employee:上图的操作顺序:1、点击序号化枚举列...还要完成预关联,预先把外键用 run 转换成对应维表的记录,比如 A6:序表 customer 的普通字段 city_id 被转换为 city 表的记录。

    41110

    你还应该知道的哈希冲突解决策略

    检索一个值 如果使用线性探测将键插入表中,则线性探测将找到它们! 当使用散列函数 H(K)在大小为N的表中搜索键K时: 设置 indx = H(K) 如果表位置indx包含键,则返回FOUND。...随机散列很容易分析,但是由于随机数生成的“费用”,它并不经常使用。双重哈希在实践中还是经常被使用。...通过单独的链接,可以使 α> 1 给定负载因子α,我们想知道在最佳,平均和最差情况下的时间成本。 成功找到 新键插入和查找失败(这些相同),最好的情况是O(1),最坏的情况是O(N)。...其中 M 是表格的大小,并且 N 是表中已插入的键数负载系数是表满度的一种度量。 给定负载因子 α ,我们想知道在最佳,平均和最差情况下的时间成本。...考虑随机散列,因此聚类不是问题。每个探针位置是随机且独立生成的。 对于表中的键,成功找到它所需的探针数等于将其插入表中时所采用的探针数。每个新密钥的插入都会增加负载系数,从0开始到α。

    2.2K31

    Mysql-5-数据表的基本操作

    主键约束要求主键列的数据唯一,并且不能为空。主键能够唯一标识表中的一条记录,可以结合外键来定义不同数据表之间的关系,并且可以加快数据库查询速度。主键分为两种类型:单字段主键和多字段联合主键。...:外键用来在两个表之间建立联系,它可以是一列或者多列。...一个表可以有一个或者多个外键。外键对应的是参照完整性,一个表的外键可以是空值,若不为空值,则每一个外键必须等于另一个表中主键的某个值。 下面介绍几个概念。...从表(自表):对于两个具有关联关系的表而言,相关字段中外键所在的那个表就是从表。...常用的修改表的操作有:修改表名,修改字段数据类型或字段名,增加和删除字段,修改字段的排列位置,更改表的存储引擎,删除表的外键约束等。

    2.3K60

    MySQL-多表操作

    因此,在应用外连接时仅调整关键字(LEFT或RIGHT JOIN) 和主从表的位置,即可实现左连接和右连接的互换使用。...表子查询 表子查询:子查询的返回结果用于FROM数据源,它是一个符合二维表结构的数据,可以是一行一列、一列多行、一行多列或多行多列。...外键约束 添加外键约束 外键指的是-一个表中引用另一个表中的一列或多列,被引用的列应该具有主键约束或唯一性约束, 从而保证数据的一-致性 和完整性。 ➢被引用的表称为主表。...➢引用外键的表称为丛表。 创建数据表(CREATE TABLE),在相应的位置添加外键约束。 修改数据结构(ALTER TABLE) ,在相应的位置添加外键约束。...语法中第一行的参数“index_ col_ name, …”表示从表中外键名称列表。.

    5.1K20

    抖音提前批二面:为啥不推荐使用外键?

    大家在学习数据库的过程中一定都接触过外键这个概念,并且在各种课后习题中外键还是一个非常重要的考察内容,但是在实际的企业开发过程中,你会发现外键是被严格禁止使用的,当需要多个表之间进行关联时,做法是冗余相关字段...什么是外键? 两张表有关联关系,才会涉及外键的概念。...来定义外键,将当前表的字段关联到另一张表的某个字段。...外键和主键一样,都是一种约束,外键约束也称为引用约束或引用完整性约束): 外键列必须引用另一个表中的主键或唯一键列 外键列必须满足引用完整性,也就是说,它们包含的值必须存在于被引用表的主键或唯一键列中...通俗来说: 成绩表插入数据时,student_id 必须是学生表已存在的 id 学生表删除/更新数据时,会自动删除/更新成绩表中引用 student.id 的数据(级联) 为什么不推荐使用外键?

    84510

    数据库MySQL-数据完整性

    1.5 数据完整性 1.5.1 数据完整性包括 1、实体完整性 主键约束 唯一约束 标识列 2、 域完整性 数据类型约束 非空约束 默认值约束 3、 引用完整性 外键约束 4、 自定义完整性 存储过程...触发器 1.5.2 主表和从表 主表中没有的记录,从表不允许插入 从表中有的记录,主表中不允许删除 删除主表前,先删子表 1.5.3 外键(foreign key) 外键:从表中的公共字段 --...通过外键的名字删除外键 ?...主表更新,从表外键字段也更新。 语法:foreign key (外键字段) references 主表名 (关联字段) [主表记录删除时的动作] [主表记录更新时的动作]。...foreign key(sid) references stuinfo(id) on delete set null on update cascade )engine=innodb; 小结: 置空、级联操作中外键不能是从表的主键

    1.5K30

    SQL命令 CREATE TABLE(五)

    此引用的最简单形式如下例所示,其中外键显式引用Customers表中的主键字段CustID: CREATE TABLE Orders ( OrderID INT UNIQUE NOT NULL,...但是,外键可以引用RowID(ID)或标识列。在任何情况下,外键引用都必须存在于被引用的表中,并且必须定义为唯一的;被引用的字段不能包含重复值或NULL。...如果指定的表没有定义主键,则外键默认为为指定的表定义的IDENTITY列。 如果指定的表既没有定义的主键,也没有定义的标识列,则外键默认为RowID。...分片表只能在分片环境中使用;非分片表可以在分片或非分片环境中使用。并不是所有的表都适合进行分片。分片环境中的最佳性能通常是通过组合使用分片表(通常非常大的表)和非分片表来实现的。...在两个位置指定分片键定义会生成SQLCODE-327错误。 有三个选项可用于指定碎片键定义: SHARD:如果仅指定关键字Shard, IRIS使用表的RowID字段作为碎片键。

    3K50

    CDP中的Hive3系列之Hive性能调优

    性能调优的最佳实践 查看与配置集群、存储数据和编写查询相关的某些性能调优指南,以便您可以保护集群和相关服务、自动扩展资源以处理查询等。...最佳实践 使用 Ranger 安全服务来保护您的集群和依赖服务。 使用 ORC 文件格式存储数据。其他的,例如 Parquet 也受支持,但对于 Hive 查询没有那么快。...当 Hive 在查询处理期间发现分区键时,会间接进行分区修剪。例如,加入维度表后,分区键可能来自维度表。查询按分区过滤列,限制对一个或几个匹配分区进行的扫描。...当 WHERE 子句中存在分区键时,会直接进行分区修剪。分区列是虚拟的,不会写入主表,因为这些列对于整个分区是相同的。 您不需要指定动态分区列。如果启用动态分区,Hive 会生成分区规范。...您将了解处理动态功能的最佳实践。 您可以将表或分区划分为桶,桶的存储方式如下: 作为表目录中的文件。 如果表已分区,则作为分区目录。 没有必要在 Hive 3 表中指定桶。

    2.2K20
    领券