首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >用Hadoop来组织和存储大数据并使用Hive查询大数据的正确方法是什么?

问用Hadoop来组织和存储大数据并使用Hive查询大数据的正确方法是什么?
EN

Stack Overflow用户
提问于 2015-06-04 12:48:33
回答 1查看 473关注 0票数 0

因此,基本上,我有不同平台上的应用程序将日志数据发送到我的服务器。它是一个节点服务器,本质上接受日志条目的有效负载,并将它们保存到各自的日志文件中(作为写流缓冲区,所以速度很快),并在填充时创建一个新的日志文件。

我存储日志的方式实质上是每个“端点”只有一个文件,每个日志文件都由与度量相对应的空格分隔的值组成。例如,player事件日志结构可能如下所示:

timestamp user mediatype event

然后日志条目将如下所示

1433421453 bob iPhone play

基于阅读文档,我认为这种格式对Hadoop这样的东西是好的。我认为这样做的方式是将这些日志存储在服务器上,然后运行cron作业,定期将这些文件移动到S3。在S3中,我可以使用这些日志作为使用亚马逊EMR的Hadoop集群的源。从那里,我可以用蜂巢来查询它。

这种方法有意义吗?我的逻辑有缺陷吗?我应该如何保存/移动这些文件以供亚马逊的EMR使用?我是否需要将所有日志文件连接到一个巨大的日志文件中?

另外,如果我在未来的日志中添加了一个度量,该怎么办?这会把我以前所有的数据都搞砸吗?

我意识到我有很多问题,这是因为我是大数据新手,需要一个解决方案。非常感谢你抽出时间,我很感激。

EN

回答 1

Stack Overflow用户

发布于 2015-06-05 11:38:39

如果您有大量定期更改的日志转储,则您所布局的方法是有意义的。使用EMRFS,您可以直接从S3 (您可能知道)处理日志。

当您将新的日志事件“附加”到Hive时,将生成部件文件。因此,您不必在加载它们到蜂巢之前将它们连接起来。

(在第0天,日志以某种分隔形式加载到Hive中,部分文件是通过各种转换生成的。在随后的循环中,新的事件/日志将追加到这些部件文件中。)

不断添加新字段是一项挑战。您可以创建新的数据结构/集和Hive表,并将它们连接起来。但是连接的速度会很慢。因此,您可能需要在架构中定义填充符/占位符。

如果您要接收大量的日志流(大量的小日志文件/事件),并且需要运行接近实时分析的数据,那么请看一下Kinesis。

(同时也测试驱动黑斑羚。它更快)

。。我的2c。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/30644287

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档