一种近实时流后端的设计

Question

对于设计流后端，我有以下要求：

1. 文档将被添加@ 20文档/秒。每个文档都有一个时间戳，field.
2. Searches主要是基于时间戳范围(例如给我显示在最后20分钟到达的文档)
3. Search QueriesPerSecond :为了优化目的(由cron )

可以连续删除超过2天的100 searches/sec

• Documents

我正在考虑使用Solr (与SolrReplication/NRT一起使用)。Solr的问题基本上是频繁更新/删除。对于最新鲜的数据，我需要对每个更新进行提交(否则搜索者看不到数据)。设置pollInterval~1分钟可能会同时杀死主机/服务器。NRT/SolrCloud可能是这些选项之一，但对它们的稳定性不太确定。

还有其他基于SQL/NoSQL体系结构的方法/建议吗？

Answer 1

mysql + memcachedFacebook在这两个广泛可用、受广泛支持、免费和开放源码的软件包上运行他们的整个网站。