首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用Hadoop更新MySQL

问使用Hadoop更新MySQL
EN

Stack Overflow用户
提问于 2011-05-17 07:13:20
回答 3查看 337关注 0票数 2

我正在使用reducers将数据输入到MySQL。我担心的是,在某些情况下,同一密钥会同时启动多个reducers。在这种情况下,数据库可能会被相同的数据更新两次。有没有办法防止这种情况发生?

在这种情况下,关闭SQL连接中的自动提交模式是否有意义?

EN

回答 3

Stack Overflow用户

发布于 2011-05-17 12:24:08

您可以更改设置:

代码语言:javascript
复制
mapred.reduce.tasks.speculative.execution

如果是这种情况,这将禁用reduce任务的推测性执行。

我建议的另一种方法是使用Sqoop来写入MySQL:http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_literal_sqoop_export_literal

票数 1
EN

Stack Overflow用户

发布于 2011-05-17 07:59:10

我认为这种情况与自动提交无关。如果它们不是太多,也不会花费大量的开销,那么忽略它们,因为它们不会破坏一致性。您所有的reducers都在执行SQL查询,如何防止它们执行相同键的查询?我认为应该在mapreduce函数中解决这个问题,因为这不是DBMS可以处理的情况,因为它所做的就是在数据库中执行给定的查询。

票数 0
EN

Stack Overflow用户

发布于 2011-05-18 06:13:41

发现solution...it正在关闭推测性执行

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/6024454

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档