Memsql::Streamliner转换

Question

我正在使用Memsql::Streamliner::Transform (Python)实用程序。有一个转换方法必须被覆盖以提供自定义转换功能。

def transform(self, sql_context, dataframe, logger):

dataframe.column[0]是一个字节数组(JSON字符串)。

如何将字节数组转换为具有命名列的DataFrame？

目标:访问转换后的DataFrame中的各个列。

Answer 1

您可以使用dataframe.rdd访问底层的rdd，并对其进行映射，将每个字节字符串转换为包含列的列表。通过向createDataframe提供列列表作为第二个参数，您可以将得到的rdd返回到具有命名列的数据框架中。

下面这样的东西应该能起作用：

def parse(row):
   bytestring = row[0]
   json_data = convert_bytes_and_parse_json(bytestring)
   return [ json_data["mycolumn1"], json_data["mycolumn2"] ]

parsedRDD = dataframe.rdd.map(parse)
parsedDf = sql_context.createDataframe(parsedRDD, ["mycolumn1", "mycolumn2"])

# now you can access columns by name
parsedDf.select(parsedDf["mycolumn1"])