在本地数据库中存储Amazon数据

Question

我正在开发一个从Amazon.com和沃尔玛获取产品价格数据的网站。我猜想，在未来，它也会从其他地方提取数据。

我的第一个想法是直接从Amazon (使用他们的产品广告API)提取数据，然后为每一个登陆页面的访问者在网站上显示数据。如果我要检索的产品价格不多(或者网站访问者的数量很低)，这并不是个坏主意。我认为我会遇到问题，一旦网站变得繁忙，如果我增加产品的数量，我想要拉的价格。

使用Amazon和Walmart API，我能够成功地调用REST并解析返回的XML以获得所需的信息。

是否有必要将这些信息存储在本地数据库中，每隔1-5分钟更新一次，然后让站点访问者从我的本地数据库中提取定价信息，而不是调用Amazon和沃尔玛( Walmart )？

如果我确实走了这条路，创建了一个使用Amazon和Walmart API来提取价格数据的函数，那么我如何在后台每1到5分钟自动运行这个函数，即24/7/365？

Answer 1

将该信息存储在本地数据库中是否有意义？

是。实际上，这听起来就像典型的缓存设置。我建议您查看Redis，而不是为此使用关系数据库。

然后如何在后台每1到5分钟自动运行此函数？

可能是克隆的工作。您必须提供更多的信息，比如您的应用程序在哪里运行(AWS、EC2还是其他地方？)如果它在Linux或Windows上运行，在我给出更详细的建议之前。

Answer 2

这取决于您的加载和缓存命中-例如，如果您每天只有100个访问者访问几个产品页面-不需要每分钟更新1000+位置，甚至可能不需要存储任何东西。

但是，如果您的访问者经常查看相同的页面-那么缓存将是有用的。

接下来，出现了不同的策略：

• 预填充缓存(您提到的缓存)-提前获取所有数据，并通过cron作业或专用守护进程不断更新。对于第一位访问者来说，这会加快页面的加载速度，但却是最昂贵的带宽。
• 按需缓存--从空缓存开始，只在第一个请求(或当请求提供过期数据时)获取数据，第一个请求将更慢，但这将确保只请求和缓存所需的数据。
• 以上组合:例如，先获取第一个请求，然后在后台作业中进行更新