作为Amazon-EMR的输入数据，唯一合法的格式是纯文本吗？

Question

正如Amazon EMR的“开发人员指南”中所引用的，输入目录中的文件应格式化为纯文本。这是不是意味着我不能上传一些二进制文件或.png文件，并通过python脚本解析它们？

Answer 1

可能不会。请参见示例：https://groups.google.com/a/cloudera.org/forum/?fromgroups=#!topic/cdh-user/AUUZ0DKiJGw

您可以做的是让一个输入数据成为文件名本身(在S3或HDFS中)。Hadoop流脚本将获得文件名作为输入，它可以根据需要打开和处理这些文件。