火花流UpdateStateByKey

Question

我正在运行星火流24X7，并使用updateStateByKey函数保存计算的历史数据，如NetworkWordCount示例中的情况。

我试图用3lac记录流一个文件，每1500条记录就有1秒睡眠。我用了三个工人

1. 在一段时间内，updateStateByKey正在增长，然后程序抛出以下异常

错误执行器:任务ID 1635 java.lang.ArrayIndexOutOfBoundsException: 3中的异常

14/10/23 21:20:43 ERROR TaskSetManager: Task 29170.0:2 failed 1 times; aborting job
14/10/23 21:20:43 ERROR DiskBlockManager: Exception while deleting local spark dir: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141023204346-b232
java.io.IOException: Failed to delete: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141023204346-b232/24

14/10/23 21:20:43 ERROR Executor: Exception in task ID 8037
java.io.FileNotFoundException: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141023204346-b232/22/shuffle_81_0_1 (No such file or directory)
    at java.io.FileOutputStream.open(Native Method)

怎么处理这个？我想updateStateByKey应该随着它的快速增长而被定期重置，请分享一些关于何时以及如何重置updateStateByKey的例子。或者我还有其他问题吗？撒了点光。

任何帮助都是非常感谢的。耽误您时间，实在对不起

Answer 1

您是否设置了CheckPoint ssc.checkpoint(“通向检查点的路径”)