日志查看实用程序数据库选择

Question

我将很快实现日志查看实用程序。但我坚持了DB的选择。我的要求如下：

• 每天存储5 GB数据
• 5个TB数据的总大小
• 在10秒钟内搜索此日志数据

我知道，如果我分割表，PostgreSQL就会工作。但是我能把这个表演写在上面吗。正如我所理解的，NoSQL是日志存储的更好选择，因为日志不是非常结构化的。我看到了下面这样的例子，使用hadoop-hbase：http://blog.mgm-tp.com/2010/03/hadoop-log-management-part1/似乎很有希望。

但在决定之前，我想问一下，以前是否有人做过这样的选择，并能给我一个主意。哪个DBMS最适合这个任务？

Answer 1

我的日志非常结构化:)

我想说你不需要数据库，你需要搜索引擎：

• 基于Lucene的索尔，它将您需要的所有东西打包在一起
• ElasticSearch另一种基于Lucene的搜索引擎
• 狮身人面像的好处是，您可以在每个搜索索引中使用多个源--使用其他事件丰富原始日志。
• 文士 Facebook搜索和收集日志的方法

@JustBob的更新:大多数提到的解决方案都可以使用影响性能的平面文件w/o。所有这些都需要倒排索引，这是最难建立或维护的部分。您可以以批处理模式或联机方式更新索引。索引可以存储在RDBMS、NoSQL或自定义“平面文件”存储格式中(由搜索引擎应用程序维护)。

Answer 2

你可以在这里找到很多信息：

http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis

看看哪一个适合你的需要。

无论如何，对于这样的任务，NoSQL是正确的选择。

您还应该考虑学习曲线MongoDB / CouchDB，即使它们没有执行诸如Cassandra或Hadoop这样的操作，但它们更容易学习。

Craigslist使用MongoDB存储旧档案：http://www.10gen.com/presentations/mongodb-craigslist-one-year-later