我有一个谷歌应用程序引擎的应用程序存储在数据存储中的数据。我想实现一个cron,它每天读取大约20,000行数据,并将数据汇总到一个小得多的数据集,并将其存储在一个轻量级的、易于访问的数据结构中,稍后我将使用它来为用户提供google图表。
我认为每次用户需要图表时读取所有实例级数据的成本太高,因此我希望每天“提前”编译一次数据。
我正在考虑以下选项,我对任何可以优化性能和最小化GAE开销的反馈或方法都很感兴趣。
选项:
1)创建一个小的csv或xml文件并将其保存在本地服务器上,然后从那里读取数据
2)在数据存储中持久化另一个“汇总级”对象并读取该对象(仍然可能代价高昂?)
3)创建google图表SVG并将其存储在本地,然后将其重新服务于用户(不确定这是否可行)
谢谢!
发布于 2013-07-15 09:45:51
仔细检查,但我认为datastore + memcache可能是最便宜的。
在cronjob中,您预先计算了需要为每个图返回的数据,并将其存储在数据存储和memcache中。
对于每个图请求,您都可以从memcache获取数据。然而,memcache数据可以随时删除,因此如果不可用,您可以从数据存储中读取它,并将其放回Memcache中。
发布于 2013-07-15 07:12:49
为什么不为第一次请求生成“昂贵的”数据,然后将这些结果存储在memcache中?根据您的特定实现,即使是第一个代价高昂的请求也可能比读取和解析本地文件稍微便宜一些。随后的读取将命中您的memcache,并且在所有方面都会更便宜。
https://stackoverflow.com/questions/17642010
复制相似问题