我正在使用reducers将数据输入到MySQL。我担心的是,在某些情况下,同一密钥会同时启动多个reducers。在这种情况下,数据库可能会被相同的数据更新两次。有没有办法防止这种情况发生?
在这种情况下,关闭SQL连接中的自动提交模式是否有意义?
发布于 2011-05-17 12:24:08
您可以更改设置:
mapred.reduce.tasks.speculative.execution如果是这种情况,这将禁用reduce任务的推测性执行。
我建议的另一种方法是使用Sqoop来写入MySQL:http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_literal_sqoop_export_literal
发布于 2011-05-17 07:59:10
我认为这种情况与自动提交无关。如果它们不是太多,也不会花费大量的开销,那么忽略它们,因为它们不会破坏一致性。您所有的reducers都在执行SQL查询,如何防止它们执行相同键的查询?我认为应该在mapreduce函数中解决这个问题,因为这不是DBMS可以处理的情况,因为它所做的就是在数据库中执行给定的查询。
发布于 2011-05-18 06:13:41
发现solution...it正在关闭推测性执行
https://stackoverflow.com/questions/6024454
复制相似问题