PySpark: java.io.EOFException
PySpark: java.io.EOFException
提问于 2021-04-12 23:44:04
我们今天开始收到这个通用的-
原因: org.apache.spark.SparkException:由于阶段故障导致作业中止: java.io.EOFException
我看到一些文章讨论这是由于大文件，缺失库，或内存限制。
https://datascience.stackexchange.com/questions/40130/pyspark-java-io-eofexception
PySpark throws java.io.EOFException when reading big files with boto3
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-04-12 23:44:04
对我们来说，它最终是一个空的.seq文件，它是由我们的ETL工具之一编写的。删除该无效文件已为我们解决了问题。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/67061445
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号