问使用TextInputFormat和Python流-跟踪行号
EN

Stack Overflow用户

提问于 2016-02-03 08:41:59

回答 1查看 285关注 0票数 1

我试着计算方阵上每个对角线的和。我使用Python和Hadoop流，但我无法找到任何方法来配置Hadoop流以获得每一行的偏移量，正如这家伙所说，使用TextInputFormat。

还有一个问题在StackOverflow上询问同样的事情，但是对于如何做到这一点没有任何反应。hadoop博士说要抛弃keys of LongWritable class，但我不确定这是否是偏移量。

如何配置作业以获得偏移量？是否需要生成从TextInputFormat派生的新类而不返回LongWritable？如果我不懂Java，我如何做到这一点？谢谢

回答已采纳

发布于 2016-02-03 09:03:24

我在StackOverflow上做了更多的研究，还有一个人问同样的事情，但是没有人回答，尽管他确实说使用-inputformat org.apache.hadoop.mapred.lib.NLineInputFormat是有效的，但是要完成这项工作需要很长时间。

我知道有一个更好的答案，但在有人回答之前，这已经足够了。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/35172122

复制

相似问题

问使用TextInputFormat和Python流-跟踪行号EN