在HDFS中存储Avro文件

Question

我正在尝试在HDFS上存储大量数据。我已经能够使用Python生成Avro文件。Avro是否提供将输出直接存储到HDFS的功能？

Answer 1

Avro是一个序列化框架，旨在以avro格式存储数据，它没有将任何内容写入HDFS的智能。

您需要使用HDFS api将avro上传/写入到HDFS，在python中使用类似的东西，其中srcPath是本地avro，dstPath是HDFS上的avro。

public void uploadToHdfs(String srcPath, String dstPath) throws IOException {
        FileSystem fs = getFileSystem();
        fs.copyFromLocalFile(new Path(srcPath), new Path(dstPath));
}

谢谢