PHP -处理海量数据的最佳方法是什么

Question

谢谢你的阅读，我正在做magento网站的工作。在我的例子中，我希望使用cron将所有产品数据存储在.json文件中。有14家商店，每家都有超过2000种产品，在商店和产品数量上都在增长。所有算法如下：

foreach available store
[
  define globalArray = array()
  get store products collection
  foreach product
  [
    add product data to globalArray
    add product filterable attributes to globalArray
    ... 
  ]
  save globalArray in json file
] 

问题是所需内存非常大，我正在考虑在temp中保存每200个产品的数据，并在最后加载所有temp文件并将它们合并到一个大json中。

怎样才能最好地解决这个问题呢？我的解决方案好吗？提前感谢

Answer 1

使用magento核心/资源迭代器模型。一个很好的解释可以在以下网站找到：http://www.atwix.com/magento/working-with-large-collections/

编辑:使用此菜谱，您可以得到一个很好的关联数组，可以序列化或jsonify。我想序列化更快。

我倾向于不问为什么有人要这样做！我不知道您想用任何非sql格式的产品数据实现什么。