我要处理的文件是以二进制流格式存储在HDFS中的。现在,我必须使用map-还原对文件进行一些处理。输入文件被分割为非块(当文件到达输入块时,文件是原始格式的),我的问题是这种反序列化是什么时候发生的?我在代码中实现了可写接口,它有两种方法,即readFields和write。这些方法是否负责HDFS中存储的实际数据的反序列化和序列化?如果是,你能解释一下数据流吗?我一整天都在坚持这个概念,请帮忙..
发布于 2016-04-25 10:59:06
序列化发生在mapper阶段的上下文对象的写方法中。在编写context.write(键,值{own_object})时,序列化将启动。一旦地图输出被写入本地磁盘,SS将进入图像。在此阶段,中间输出将由框架处理。接下来是反序列化(使用read())。您可以在mapper之后看到序列化的数据。
https://stackoverflow.com/questions/36838401
复制相似问题