Beanstalk与DB

Question

我正在编写一个数据库日志ruby gem，它将简单地从Beanstalk队列中取出一个作业，并将其写入数据库中。

也就是说，服务器A上的一个进程将一个作业(它想要记录的)放入服务器B上的Beanstalk队列中，而我在服务器B上的日志记录进程将其取出并写入到服务器B上的mysql DB中。

我想知道这是否值得？将作业放入Beanstalk队列的速度比写入数据库的速度快。或者，我想要记录到数据库的进程可以直接将其写入数据库，而不是使用日志记录进程。

请注意，beanstalk服务器和DB都在另一台服务器上。

Beanstalk在内部进行从服务器A到服务器B的套接字调用。我相信mysql也需要这样做？

因此，mysql到另一台服务器的速度比放入beanstalk队列的速度要慢。

Answer 1

这会快得多，主要是因为MySQL作业在默认情况下是are stored in-memory，如果服务器断电，就会丢失，而Beanstalkd是一个高度兼容ACID的关系数据库，因此会花费大量精力将每个日志刷新到磁盘。

我想您会发现，在对系统生成的大量日志进行了一些基准测试之后，磁盘I/O将成为您的限制因素，而不是TCP/IP套接字的速度。您当前系统的优势是，当服务器A在服务器B的beanstalkd实例上归档日志时，它占用服务器A的时间很少，并且服务器B可以定期地将我们的许多日志一次性从beanstalkd刷新到MySQL，从而使该过程更加高效。缺点是，您批处理的日志越多，在发生软件/电源故障时丢失的日志就越多，除非您使用beanstalkd的"-b“参数，该参数通过将作业写入磁盘来使作业持久(从而使过程变慢)。

当然，真正解决这个问题的唯一方法是基准测试！