我有一个Firebase实时数据库,我正在使用它来跟踪用户分析。目前大约有11000名用户,每个用户都有相当多的条目(根据他们与应用程序交互的时间长短,从10个到几百个)。当我导出整个DB时,Json文件是76MBs。我使用这些数据只是为了分析,所以我会每天看一次所有的数据。即我需要下载整个数据库来获得所有的数据。
当我这样做时,实际加载数据大约需要3-5分钟。我可以想象,如果有十倍以上的用户,它将不再可用,因为加载时间。所以我想知道这些加载时间是否是正常的,这样做是不是真的很糟糕?我总是下载整个数据库的原因是,我想要获得整体数据,即有多少用户注册,然后例如有多少广告被观看。要做到这一点,我需要进入每个用户,查看他观看了多少广告,并对其进行计数。如果不能访问所有用户的数据,我无法做到这一点。
这是我第一次在更大的规模上做这样的事情,这76MB对我来说有点令人惊讶,以及获得数据的加载时间。从长远来看,使用这种设置是不可行的。
发布于 2021-01-18 23:58:12
如果您自己只需要这些数据,那么可以考虑使用automated backups来访问JSON。这些备份是带外备份,这意味着它们(与您当前的进程不同)不会干扰其他客户端请求的处理。
此外,如果您只使用数据库来收集用户分析,请考虑将数据卸载到更适合此目的的数据库。所以:使用实时数据库为用户发送数据给你,但从那里删除它到一个更便宜/更好的地方。
例如,将数据传输到BigQuery是很常见的,它具有比实时数据库更好的即席查询功能。
https://stackoverflow.com/questions/65775986
复制相似问题