从rdd到dataframe转换时超出范围的索引

Question

我正试图将星火RDD转换为dataframe。虽然RDD很好，但当我将它转换为dataframe时，就会得到超出范围误差的索引。

alarms = sc.textFile("hdfs://nanalyticsedge.com:8020/hdp/oneday.csv")
alarms = alarms.map(lambda line: line.split(","))
header = alarms.first()
alarms = alarms.filter(lambda line:line != header)
alarms = alarms.filter(lambda line: len(line)>1)
alarms_df = alarms.map(lambda line: Row(IDENTIFIER=line[0],SERIAL=line[1],NODE=line[2],NODEALIAS=line[3],MANAGER=line[4],AGENT=line[5],ALERTGROUP=line[6],ALERTKEY=line[7],SEVERITY=line[8],SUMMARY=line[9])).toDF()
alarms_df.take(100)

在这里，alarms.count()工作得很好，而alarms_df.count()给出的索引超出了范围。是从oracle导出的数据。

从@Dikei的回答中我发现：

alarms = alarms.filter(lambda line: len(line) == 10)

给我正确的Dataframe，但是为什么dataframe在数据库导出时会丢失，以及如何防止它？

Answer 1

我认为问题是，您的一些行不包含10个元素。很容易检查，试着改变一下

alarms = alarms.filter(lambda line: len(line)>1)

至

alarms = alarms.filter(lambda line: len(line) == 10)

Answer 2

没有提到索引的数据。尝试这样的方法，如果数组有超过9个print 10元素

myData.foreach { x => if(x.size.!=(9)){println(x(10))}  }