我有一个纯地图作业,它处理一个大的文本文件。对每一行进行了分析和分类。MultipleOutputs用于将每个类别输出到单独的文件中。最终,所有数据都会被添加到一个专用于每个类别的Hive表中。我目前的工作流程做的工作,但有点麻烦。我将添加几个类别,并认为我可能能够精简程序线。我有几个想法,并在寻找一些投入。
当前工作流:
类别1-m-00000
类别1-m-00001
类别1-m-00002
类别2-m-00000
类别2-m-00001
类别2-m-00002
类别3-m-00000
类别3-m-00001
类别3-m-00002
第1/00000类
第1/00001类
第1/00002类
第2/00000类
第2/00001类
第2/00002类
第3/00000类
第3/00001类
第3/00002类
可能出现的新工作流
发布于 2017-02-09 09:46:29
对于MultipleOutputs,将输出路径设置为您的单元外部表所在的基本文件夹。然后将数据写入"<table_name>/<filename_prefix>"。您的数据将位于目标表中。
https://stackoverflow.com/questions/42117843
复制相似问题