在spark或spark streaming中，如何配置log4j属性，让控制台不会打印太多日志？

Question

当我尝试运行spark流程序时，控制台中打印出了太多的日志。你能推荐一个好的配置，这样我只能得到有用的信息吗？

Answer 1

编辑conf/log4j.properties以满足您的需求。

你很可能只是想要改变

log4j.rootCategory=INFO, console

至

log4j.rootCategory=WARN, console

Answer 2

我也遇到了同样的问题，并按照指示更改了log4j.properties。然后，输出变成这样:D

-------------------------------------------
Time: 2015-11-06 00:13:05
-------------------------------------------
()
15/11/06 00:13:06 WARN BlockManager: Block input-0-1446768785800 replicated to only 0 peer(s) instead of 1 peers
-------------------------------------------
Time: 2015-11-06 00:13:10
-------------------------------------------
(u'hello', 1)
()
15/11/06 00:13:14 WARN BlockManager: Block input-0-1446768794000 replicated to only 0 peer(s) instead of 1 peers
-------------------------------------------
Time: 2015-11-06 00:13:15
-------------------------------------------
(u'', 1)
(u'you', 2)
(u'how', 1)
(u'are', 1)
()

看起来很棒:D谢谢