BigQuery性能和运行并发作业

Question

我们正在使用Google BigQuery (使用Java)作为我们的云解决方案之一，并在开发中面临许多问题。我们的意见和问题如下-

1. 我们首先使用Query (例如: jobs().insert()/jobs().query()方法，然后使用tablesdata().list()方法进行数据检索)。作业执行需要2-3秒(我们现在只有MBs中的数据)。我们研究了code.google.com和github.com上的示例代码，并试图实现它们。然而，我们不能实现快速执行超过2-3秒.从BigQuery表中检索数据的快速方法是什么？有什么办法可以即兴发挥工作执行的速度吗？如果是，您能提供示例代码的链接吗？
2. 在我们的屏幕中，我们需要从不同的表(不同的查询)中获取数据并显示它们。因此，我们插入了多个查询作业和总执行时间进行求和(例如:如果我们有两个作业(即两个查询)，则需要6-7秒)。在Google文档中已经提到，我们可以运行并发乔布斯。有可用的示例代码吗？

等待你的宝贵回应。

Answer 1

1)大查询在成为“超级快”数据库之前，是一个高度可伸缩的数据库。它被设计成使用一种名为Dremel的技术来处理在几台不同的机器之间分发处理的大量数据。因为它是为使用多台机器和并行处理而设计的，所以您应该期望具有良好性能的超级可伸缩性。

2)当您想要分析数十亿行时， BigQuery是一种资产。

例如:在5-10秒内分析维基百科的所有修订版并不坏，是吗？但是，即使一个小得多的表也会占用大约相同的时间，即使有10k行。

3)在这种大小下，您最好使用更传统的数据存储解决方案，如Cloud或App。如果您想保持SQL功能，最好的猜测是Cloud。

Sybase IQ通常安装在一个数据库中，并且它不使用Dremel。也就是说，在许多设计的scenarios...as中，它将比Big更快。

4)的性能当然不同于专用环境。你可以以每月20,000美元的价格获得你的专用环境。

Answer 2

1. 如果您能够独立运行查询，缓存结果的查询可能会快得多。下面的查询将运行得更快。
2. 检查瓶颈与网络\分页\页面呈现等无关，您可以尝试只执行第二步。
3. 并行作业可能会根据它们当前的负载在BQ端排队。

我的建议是将查询与演示分开。运行BQ查询，将“小规模”数据检索到快速访问数据存储区(平面文件、缓存、Cloud等)然后从那里呈现出来。正如Pentium10说的那样，BQ对于巨大的数据来说是极好的(并且返回结果比任何其他类似的解决方案都要快、更便宜)。如果你正在寻找一个快速报告可视化工具的后端，我担心烧烤可能不是你的解决方案。