设计一个云BigTable:数百万行X百万列？

Question

我想知道BigTable的下表设计是否合法。据我所读，拥有数以百万计的稀疏列应该可以工作，但它能正常工作吗？

这样做的目的是在列中保留基于时间的“样本”(每个都是几Kb)。我希望有数以百万计的行，在这些行中，每个行都会有有限数量的条目(~10-50)作为表中的值。表中的每一列表示10秒的时间周期。因为一个月大约有2.6秒，所以一年大约需要3M列。我打算使用行扫描来通过前缀来获取行--通常每次获取的行只有几行。

因此，总而言之：

• 该表将包含(百万行×每行50个样本，每一行几kb)：5000万项
• 但是表的尺寸是(百万行X百万列)：一万亿个单元格。

现在，我知道空单元格不会占用空间，整个“表”隐喻并不真正适合BT，但我仍然在想:以上这些是否代表了BigTable的一个有效用例？

Answer 1

基于谷歌文档，Cloud是一个人口稀少的表，可以扩展到数十亿行和数千列()。关于Cloud行和列( Cloud 行可以是大的，但不是无限的。 )的限制，行可以包含~100列族和数百万列，但建议行大小为100 of，列值为10 of。

因此，在BigTable中，表中数据的限制是基于数据大小而不是列或行数(“每个表的列族”除外)。我相信您的用例是有效的，只要值在硬极限中，就可以有一百万行和列。作为最佳实践，设计您的模式可以保持数据的大小。