首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >向Hive表中添加Hadoop作业的结果

问向Hive表中添加Hadoop作业的结果
EN

Stack Overflow用户
提问于 2017-02-08 15:58:01
回答 1查看 100关注 0票数 0

我有一个纯地图作业,它处理一个大的文本文件。对每一行进行了分析和分类。MultipleOutputs用于将每个类别输出到单独的文件中。最终,所有数据都会被添加到一个专用于每个类别的Hive表中。我目前的工作流程做的工作,但有点麻烦。我将添加几个类别,并认为我可能能够精简程序线。我有几个想法,并在寻找一些投入。

当前工作流:

  1. 只映射作业将大文件划分为类别。输出如下所示:

类别1-m-00000

类别1-m-00001

类别1-m-00002

类别2-m-00000

类别2-m-00001

类别2-m-00002

类别3-m-00000

类别3-m-00001

类别3-m-00002

  1. 外部(非Hadoop)进程将输出文件复制到每个类别的单独目录中。

第1/00000类

第1/00001类

第1/00002类

第2/00000类

第2/00001类

第2/00002类

第3/00000类

第3/00001类

第3/00002类

  1. 为每个类别创建一个外部表,然后将数据插入到该类别的永久Hive表中。

可能出现的新工作流

  • 使用Spark循环输出文件,并根据文件名将数据插入到适当的永久Hive表中。
  • 使用HCatalog将数据直接从Mapper插入到永久Hive表中,或者可能是用于每个类别的减速器或减速器集。
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-02-09 09:46:29

对于MultipleOutputs,将输出路径设置为您的单元外部表所在的基本文件夹。然后将数据写入"<table_name>/<filename_prefix>"。您的数据将位于目标表中。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/42117843

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档