在GAE上保存数据:日志与数据存储

Question

我有一个谷歌应用程序引擎应用程序，必须处理大量的数据收集。我收集到的数据每天大约有数百万条记录。在我看来，为了能够分析数据，有两种简单的方法来处理这个问题：

1. 使用记录器API生成应用程序引擎日志，然后尝试将这些日志加载到大型查询中(或者更简单地导出到CSV并使用excel进行分析).2。将数据保存在应用程序引擎数据存储(ndb)中，然后下载这些数据/尝试加载到大查询中。

这样做有什么更好的方法吗？

谢谢!

Answer 1

BigQuery有一个新的流API，他们声称它是为高容量的实时数据收集而设计的.

实践中的建议:我们目前正在通过方法1记录20M+多事件记录，如前所述。它运行得很好，除非没有调用批处理上传程序(通常每5分钟调用一次)，那么我们需要检测这一点并重新运行导入程序。此外，我们目前正在迁移到新的流API，但还没有在生产中，所以我不能说它有多可靠。