问删除中的空行
EN

Stack Overflow用户

提问于 2018-10-21 18:15:24

回答 1查看 13.4K关注 0票数 0

当我将相当大的数据集(即维基百科的档案)加载到火花数据格式中时，我收到了以下错误：

    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    ... 1 more
Caused by: java.lang.NullPointerException
    at org.apache.spark.ml.feature.Tokenizer$$anonfun$createTransformFunc$1.apply(Tokenizer.scala:39)
    at org.apache.spark.ml.feature.Tokenizer$$anonfun$createTransformFunc$1.apply(Tokenizer.scala:39)

什么是最好的方法来移除火花放电数据中的Null值？

dataframe

null

pyspark

回答 1

Stack Overflow用户

发布于 2018-10-22 07:11:51

您可以使用na.drop()来删除所有行，包括空值：

df.na.drop()

票数 4

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/52918422

复制

相似问题

问删除中的空行
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问删除中的空行EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问删除中的空行
EN