限制Firebase内存缓存

Question

我正在使用node.js将大量数据聚合到EC2微型实例上的Firebase中。该应用程序扫描多个来源的照片，并维护有关每张照片的元数据的Firebase，例如URL、大小、来源、“赞”等。

我还会更新一些聚合索引(按日期、按点赞等)。实际的代码非常简单：

var db = new Firebase('https://my.firebaseio.com')

// Whenever the aggregator updates a photo, update the popularity inedx
db.child('photos').on('child_changed', function(snapshot) {
    var instagram = snapshot.child('likes/instagram').val() || 0,
        facebook = snapshot.child('likes/facebook').val() || 0,
        likes = instagram + facebook

    // Update popularity index
    db.child('index/popularity').child(snapshot.name()).setWithPriority(true, likes)
})

因为我的实例(t1.micro)只有615mb的内存可用，所以我的内存快用完了，因为Firebase会在更新时缓存photos集合的所有子对象。

有没有办法防止Firebase用它的内存缓存耗尽所有可用的RAM？

Answer 1

Firebase会缓存当前有未完成回调的所有内容。因此，只要您在某个位置执行on()，我们就会加载所有数据并将其保存在内存中。我们必须这样做，这样我们才能计算差异并模拟局部事件。

您是否将实际图像存储在Firebase中？

如果你有大量的数据，并且你不希望所有的数据都被加载，我建议分离出大块的数据，只同步元数据。例如，你可以将你的照片存储在/photos上，但将点赞信息和其他元数据存储在/photos_metadata上。

如果您只是在处理元数据，并且您有大量的元数据，那么您应该做的是维护一个“最近更改”的队列。然后，当客户端更新某些数据时，它也会推送到队列中。然后，您的节点进程仅侦听该队列，处理更改，并删除队列条目。如果它需要在处理期间同步元数据，它可以逐个照片地进行同步，然后在完成时调用()(或者只使用once())。