首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >检查表上传-mysql的进度。

问检查表上传-mysql的进度。
EN

Database Administration用户
提问于 2014-11-28 06:11:56
回答 1查看 649关注 0票数 1

我有一个大约200 of的数据集。

样本如下:

代码语言:javascript
复制
Posted a new song: "Ensaio Don`t back anger & imagine- Stone Rocks " http://t.co/i9TqakT38t #music  460523675293196289  1308622848  0   0   Sun Apr 27 20:59:34 +0000 2014  nc  f   nr
Posted a new song: "Led Zeppelin- Black Dog Feat. RockSauro" http://t.co/Scdo6ncIc1 #music  460454112694263809  13086228298 0   0   Sun Apr 27 16:23:09 +0000 2014  nc  f   nr 

此数据位于文本文件中。我创建了一个表,并使用以下命令将这些数据导入mysql:

代码语言:javascript
复制
mysqlimport --local -u root -pxxx twitter_data '/home/abc/alltweet.txt' 

如何检查mysql表中加载了多少数据。实际上,这个命令从10小时开始运行,count(*)给出了零计数。

EN

回答 1

Database Administration用户

回答已采纳

发布于 2014-11-28 09:15:17

我建议您分批导入文本文件,这将使您可以通过不时提交来更容易地监视进度。这可以很容易地通过Percona的pt-fifo-拆分这样的工具来实现。您可以在该页面上看到的第一个示例是您应该做什么,将cat更改为mysqlimport。

您看到0行的原因是因为要导入到InnoDB表,这意味着在进程完成之前不会看到它的插入。有两种方法可以监视进展情况:

  • 如果您使用的是innodb_file_per_table (默认为MySQL 5.5),那么您应该会看到一个越来越大的表,名为alltweet.ibd,它位于datadir的twitter_data目录中。您可以通过执行:显示像‘datadir’这样的全局变量来检查datadir的位置;默认情况下,它通常在/var/lib/mysql上。该文件的大小将与.txt文件的大小大致相同,可能更大一些(取决于结构)。这一点,以及它正在增长的进展,可以作为剩余时间的一个指标。
  • 监视Handler_write状态变量:显示全局状态,如‘Handler_ will’;这将给出插入到数据库中的行数。假设没有其他插入活动,这可以给出插入/秒的数量,您可以将其与文件的行数进行比较。

提醒您,MariaDB和Percona都有更好的默认设置,以显示挂起的工作剩余。

如果您想要使用.txt文件加速大量插入,那么我在不久前编写了关于如何加快速度的指南。总结如下:

  • 增加事务日志大小
  • 增加缓冲池
  • 禁用双写缓冲区。
  • 使用最新版本的MySQL
  • 将文件分割成几个部分并并行插入。
票数 0
EN
页面原文内容由Database Administration提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://dba.stackexchange.com/questions/83835

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档