8wDlpd.png
首页
8wDFp9.png
分类
8wDEOx.png
8wDMfH.png
消息
8wDKte.png
我的
  2. apache-spark
  3. 为什么不将spark.memory.fraction设置为1.0？

为什么不将spark.memory.fraction设置为1.0？

Thyag 2月前
20 0

我很困惑为什么 Spark 只使用 Java 堆的一小部分？为什么不直接保留 100% 或将 spark.memory.fraction 设置为 1.0。保留 0.4（默认值）有什么意义？为什么要保留这个

我很困惑为什么 Spark 只使用 Java 堆的一小部分？ 为什么不保持 100% 或将其设置 spark.memory.fraction 为 1.0。

保留 0.4（默认值）有什么意义？为什么要让这部分内存闲置？

这是由 Spark 使用还是由 JVM 使用？

帖子版权声明 1、本帖标题：为什么不将spark.memory.fraction设置为1.0？
    本站网址：http://xjnalaquan.com/
2、本网站的资源部分来源于网络，如有侵权，请联系站长进行删除处理。
3、会员发帖仅代表会员个人观点，并不代表本站赞同其观点和对其真实性负责。
4、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报
5、站长邮箱：yeweds@126.com 除非注明，本帖由Thyag在本站《apache-spark》版块原创发布， 转载请注明出处！
收藏的用户（0） X
正在加载信息~
最新回复 (0)
  • 引用 2楼

    来自 docs ,

    spark.memory.fraction 将 M 的大小表示为 (JVM 堆空间 - 300MiB) 的分数（默认值为 0.6）。剩余空间 (40%) 保留用于用户数据结构、Spark 中的内部元数据，以及在记录稀疏和异常大的情况下防止出现 OOM 错误。

返回
作者最近主题：