有没有集成beanstalkd和hadoop的好方法？

Question

我使用beanstalkd从多个前端服务器(php应用程序)收集日志数据，并将数据插入到mysql中。只要数据增长，我就需要选择Hadoop来分析数据，以便使用Hive实现BI目的。将beanstalkd与hadoop集成的最佳实践是什么？我找到了FlumeNG，但它似乎太重了，无法满足我的需求。

Answer 1

真的很有趣的问题。

查看Monolog，这里有一个关于用Fluentd处理日志的很好的教程。

你可能想要考虑服务的“三角形”，Laravel附带Monolog，也支持Beanstalkd，你可以通过composer Fluentd快速添加。因此，你可以有一个Laravel应用程序，在你的管道上有工人，并转发到Fluentd。Fluentd有一些很棒的特性，比如延迟日志和标签。不确定你将如何处理延迟的日志，或者日志上的标签，但你可能已经在你的管消息上有这些。

您可以使用Beanstalkd Console查看您的工作并帮助您进行开发。