首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何判断spark会话是否能够以数据格式保存数据大小?

问如何判断spark会话是否能够以数据格式保存数据大小?
EN

Stack Overflow用户
提问于 2019-10-30 02:12:16
回答 2查看 297关注 0票数 1

打算使用pyspark (在本地模式下运行)从Oracle DB中读取数据,并将本地存储为parquet。是否有一种方法可以判断火花会话数据是否能够保存来自查询的数据量(这将是整个表,即。select * from mytable)?是否有共同的解决方案,如果数据将无法适应一个数据?

*看到了一个类似的问题这里,但对评论中的讨论有点困惑

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2019-10-30 03:37:37

因为您是在本地运行,所以我假设它不是在集群上。你不能确切地说出需要多少内存?然而,你可以接近它。检查各自的表大小,即所使用的磁盘空间大小。假设您的mytable占用了硬盘的1GB,那么spark将需要更多的RAM,因为Spark的引擎需要一些内存来进行自己的处理。试着增加2GB,这样比实际的表尺寸更安全。

要在Oracle中检查表大小,可以使用以下查询:

代码语言:javascript
复制
select segment_name,segment_type,bytes/1024/1024 MB
 from dba_segments
 where segment_type='TABLE' and segment_name='<yourtablename>';

它将在MB中给出一个结果。

要在Apache-Spark中配置JVM相关参数,可以检查这。

票数 0
EN

Stack Overflow用户

发布于 2019-10-30 04:34:02

不管表有多大,如果您是以分布式方式运行星火的话。你需要担心记忆,如果:-

  1. 您正在读取驱动程序中的数据,然后执行广播。
  2. 缓存数据帧以进行某些计算。

通常,对于spark应用程序,会生成DAG,如果您使用JDBC源,那么工作人员将直接读取数据,并使用洗牌空间和堆外磁盘进行内存密集型计算。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58617820

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档