首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >中使用多个排队作业的Mysql死锁

问中使用多个排队作业的Mysql死锁
EN

Stack Overflow用户
提问于 2018-01-08 17:45:39
回答 1查看 2.4K关注 0票数 4

我需要同时将55个.tsv文件中的数据导入MySQL数据库。

我的任务是使用updateOrCreate()方法读取文件并更新数据库中的行。

我的主管配置:

代码语言:javascript
复制
[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /Users/denis/Code/my_project/artisan queue:work --tries=3 --timeout=3600 --daemon
autostart=true
autorestart=true
numprocs=55
stdout_logfile=/Users/denis/Code/my_project/storage/logs/workers.log
stderr_logfile=/Users/denis/Code/my_project/storage/logs/workers_error.log

但是当我这样做的时候,所有的作业都会因为错误而失败:

/Users/denis/Code/my_project/vendor/laravel/framework/src/Illuminate/Database/Connection.php:474 : PDOException: SQLSTATE40001:序列化失败:在试图获取锁时发现1213死锁;尝试在PDOException中重新启动事务。

我可以通过尝试-捕捉块来解决这个问题。

代码语言:javascript
复制
$updated = null;
$db_max_retries = 10;
$db_retry_count = 0;
while($updated == null && $db_retry_count < $db_max_retries) {
    try {
        $updated = AdsPerformance::updateOrCreate(['campaign_id' => $performance_obj['campaign_id'], 'date' => $performance_obj['date'], 'ad_provider' => 'adwords'], $performance_obj);
    } catch (\Exception $e) {
        sleep(1);
        $db_retry_count++;
    }
}
$lines_proceded++;

..。但是在这种情况下,这个过程需要很长的时间,因为在大约2000条导入行中有大约200条死锁。

  • 当表为空时,不存在死锁。死锁只在表已经拥有数据(基本上在尝试更新时)时才出现。
  • 我试着用不同的睡眠时间。有了sleep=5,死锁就少了。如果睡眠=1/10秒(我使用的是usleep(100000)),那么死锁就会更多。顺便说一句,在这些情况下,总的执行时间并没有太大的不同。
  • 我尝试使用其他队列驱动程序(redis和beanstalkd)。但也没有太大的区别。

也许还有别的办法我可以试试?比如一些MySQL配置什么的?我不相信在MySQL中不存在无死锁的同步更新的解决方案。

EN

回答 1

Stack Overflow用户

发布于 2018-01-09 11:58:20

好的,只要意识到问题是使用复合主键。为了解决这个问题,我创建了唯一的主键列,并且没有更多的死锁。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/48155440

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档