我实际上是和火花一起工作的,我试图增加堆的空间。
我读过几个主题,并遵循了它们。
我正在使用windows,并且设置了可变环境:MAVEN_OPTS=-Xmx512m和set MAVEN_OPTS=-Xmx512m,并使用set M检查它。
但是,无论Xmx值设置为什么。我也有同样的错误。
Caused by: java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.是否有方法检查jvm的最大堆空间是多少?或者在实例化火花会话时是否有工作?比如SparkSession.builder.config("spark.driver.memory", "512m")?
我实际上是在Windows上的命令行mvn test上运行maven。测试实例化导致错误的sparkSession
在scala中编写代码时,对于测试插件,我有以下内容:
<plugin>
<groupId>org.scalatest</groupId>
<artifactId>scalatest-maven-plugin</artifactId>
<version>2.0.0</version>
<executions>
<execution>
<id>test</id>
<goals>
<goal>test</goal>
</goals>
</execution>
</executions>
</plugin>发布于 2018-11-05 17:21:14
在造成溢出问题的原因是,最大规模的maven插件正在分叉另一个JVM时,我建议您将argLine属性包含在适当的-X选项中:
<plugin>
<groupId>org.scalatest</groupId>
<artifactId>scalatest-maven-plugin</artifactId>
<version>2.0.0</version>
<configuration>
<argLine>-Xmx512m</argLine>
...
</configuration>
...
<plugin>见最有规模的插件。
https://stackoverflow.com/questions/53158450
复制相似问题