打算使用pyspark (在本地模式下运行)从Oracle DB中读取数据,并将本地存储为parquet。是否有一种方法可以判断火花会话数据是否能够保存来自查询的数据量(这将是整个表,即。select * from mytable)?是否有共同的解决方案,如果数据将无法适应一个数据?
*看到了一个类似的问题这里,但对评论中的讨论有点困惑
发布于 2019-10-30 03:37:37
因为您是在本地运行,所以我假设它不是在集群上。你不能确切地说出需要多少内存?然而,你可以接近它。检查各自的表大小,即所使用的磁盘空间大小。假设您的mytable占用了硬盘的1GB,那么spark将需要更多的RAM,因为Spark的引擎需要一些内存来进行自己的处理。试着增加2GB,这样比实际的表尺寸更安全。
要在Oracle中检查表大小,可以使用以下查询:
select segment_name,segment_type,bytes/1024/1024 MB
from dba_segments
where segment_type='TABLE' and segment_name='<yourtablename>';它将在MB中给出一个结果。
要在Apache-Spark中配置JVM相关参数,可以检查这。
发布于 2019-10-30 04:34:02
不管表有多大,如果您是以分布式方式运行星火的话。你需要担心记忆,如果:-
通常,对于spark应用程序,会生成DAG,如果您使用JDBC源,那么工作人员将直接读取数据,并使用洗牌空间和堆外磁盘进行内存密集型计算。
https://stackoverflow.com/questions/58617820
复制相似问题