如何将二进制文件转换为RDD或Dataframe？

Question

http://spark.apache.org/docs/latest/sql-programming-guide.html#interoperating-with-rdds

该链接显示如何将txt文件更改为RDD，然后更改为Dataframe。

那么如何处理二进制文件呢？

请举一个例子，非常感谢。

这里有一个类似的问题没有答案：reading binary data into (py) spark DataFrame

更详细的是，我不知道如何解析二进制文件.for示例，我可以将txt文件解析成如下所示的行或词：

JavaRDD<Person> people = sc.textFile("examples/src/main/resources/people.txt").map(
  new Function<String, Person>() {
    public Person call(String line) throws Exception {
      String[] parts = line.split(",");

      Person person = new Person();
      person.setName(parts[0]);
      person.setAge(Integer.parseInt(parts[1].trim()));

      return person;
    }
  });

似乎只需要这样解析二进制文件或二进制流的API：

 JavaRDD<Person> people = sc.textFile("examples/src/main/resources/people.bin").map(
      new Function<String, Person>() {
        public Person call(/*stream or binary file*/) throws Exception {
          /*code to construct every row*/
          return person;
        }
      });

编辑:二进制文件包含结构数据(关系数据库的表，数据库是自制的数据库)，我知道结构数据的元信息，我计划将结构数据转换为RDDRow。

当我使用FileSystem的API (http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html)将二进制流写入HDFS .And时，我可以更改二进制文件的所有内容。二进制文件是可拆分的。我不知道像上面的示例代码那样解析二进制文件。因此，到目前为止，我无法尝试任何事情。

Answer 1

有一个二进制记录读取器已经可以用于spark (我相信在1.3.1中可用，至少在scala中是可用的)。

sc.binaryRecord(path: string, recordLength: int, conf)

但是，将这些二进制文件转换为可接受的格式以进行处理是由您自己决定的。