BigQuery的"Bytes洗牌“指标对成本有什么影响？

Question

我在BigQuery中优化了一个查询，我成功地减少了所有性能指标，但“字节消耗”指标除外，后者从3GB增加到3.56GB。

我想知道拜特斯的混合指标是否会对成本产生影响，如果是的话，会有多少影响呢？

Answer 1

要理解这一点，您必须考虑BigQuery体系结构。它或多或少是一种Map Reduce体系结构。

映射可以在单个节点上完成(过滤器、转换、.)。减少执行操作所需的节点通信(连接、字符串、.)。

当然，map操作比减少操作效率高得多(仅在内存中，没有网络通信，没有同步/等待，.)

字节改组是节点之间共享的字节。

从成本的角度来看，答案并不简单。如果您在使用BigQuery时付费(没有预约插槽)，则不需要额外的成本(处理相同数据量的数据，因此不会产生影响，只有较慢的查询)。

如果您有保留插槽(节点和插槽是相似的)，也没有额外的成本。但是，将插槽留得更长(查询速度较慢，时隙使用时间较长)，如果您与其他用户/查询/项目共享插槽，则会影响整体性能，可能还会影响项目的总体成本。

所以，没有直接的成本，而是全球概览对持续时间的影响。