因此,基本上,我有不同平台上的应用程序将日志数据发送到我的服务器。它是一个节点服务器,本质上接受日志条目的有效负载,并将它们保存到各自的日志文件中(作为写流缓冲区,所以速度很快),并在填充时创建一个新的日志文件。
我存储日志的方式实质上是每个“端点”只有一个文件,每个日志文件都由与度量相对应的空格分隔的值组成。例如,player事件日志结构可能如下所示:
timestamp user mediatype event
然后日志条目将如下所示
1433421453 bob iPhone play
基于阅读文档,我认为这种格式对Hadoop这样的东西是好的。我认为这样做的方式是将这些日志存储在服务器上,然后运行cron作业,定期将这些文件移动到S3。在S3中,我可以使用这些日志作为使用亚马逊EMR的Hadoop集群的源。从那里,我可以用蜂巢来查询它。
这种方法有意义吗?我的逻辑有缺陷吗?我应该如何保存/移动这些文件以供亚马逊的EMR使用?我是否需要将所有日志文件连接到一个巨大的日志文件中?
另外,如果我在未来的日志中添加了一个度量,该怎么办?这会把我以前所有的数据都搞砸吗?
我意识到我有很多问题,这是因为我是大数据新手,需要一个解决方案。非常感谢你抽出时间,我很感激。
发布于 2015-06-05 11:38:39
如果您有大量定期更改的日志转储,则您所布局的方法是有意义的。使用EMRFS,您可以直接从S3 (您可能知道)处理日志。
当您将新的日志事件“附加”到Hive时,将生成部件文件。因此,您不必在加载它们到蜂巢之前将它们连接起来。
(在第0天,日志以某种分隔形式加载到Hive中,部分文件是通过各种转换生成的。在随后的循环中,新的事件/日志将追加到这些部件文件中。)
不断添加新字段是一项挑战。您可以创建新的数据结构/集和Hive表,并将它们连接起来。但是连接的速度会很慢。因此,您可能需要在架构中定义填充符/占位符。
如果您要接收大量的日志流(大量的小日志文件/事件),并且需要运行接近实时分析的数据,那么请看一下Kinesis。
(同时也测试驱动黑斑羚。它更快)
。。我的2c。
https://stackoverflow.com/questions/30644287
复制相似问题