首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Hadoop系列化和反序列化

问Hadoop系列化和反序列化
EN

Stack Overflow用户
提问于 2016-04-25 10:47:45
回答 1查看 175关注 0票数 0

我要处理的文件是以二进制流格式存储在HDFS中的。现在,我必须使用map-还原对文件进行一些处理。输入文件被分割为非块(当文件到达输入块时,文件是原始格式的),我的问题是这种反序列化是什么时候发生的?我在代码中实现了可写接口,它有两种方法,即readFields和write。这些方法是否负责HDFS中存储的实际数据的反序列化和序列化?如果是,你能解释一下数据流吗?我一整天都在坚持这个概念,请帮忙..

EN

回答 1

Stack Overflow用户

发布于 2016-04-25 10:59:06

序列化发生在mapper阶段的上下文对象的写方法中。在编写context.write(键,值{own_object})时,序列化将启动。一旦地图输出被写入本地磁盘,SS将进入图像。在此阶段,中间输出将由框架处理。接下来是反序列化(使用read())。您可以在mapper之后看到序列化的数据。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/36838401

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档