我有一个大约200 of的数据集。
样本如下:
Posted a new song: "Ensaio Don`t back anger & imagine- Stone Rocks " http://t.co/i9TqakT38t #music 460523675293196289 1308622848 0 0 Sun Apr 27 20:59:34 +0000 2014 nc f nr
Posted a new song: "Led Zeppelin- Black Dog Feat. RockSauro" http://t.co/Scdo6ncIc1 #music 460454112694263809 13086228298 0 0 Sun Apr 27 16:23:09 +0000 2014 nc f nr 此数据位于文本文件中。我创建了一个表,并使用以下命令将这些数据导入mysql:
mysqlimport --local -u root -pxxx twitter_data '/home/abc/alltweet.txt' 如何检查mysql表中加载了多少数据。实际上,这个命令从10小时开始运行,count(*)给出了零计数。
发布于 2014-11-28 09:15:17
我建议您分批导入文本文件,这将使您可以通过不时提交来更容易地监视进度。这可以很容易地通过Percona的pt-fifo-拆分这样的工具来实现。您可以在该页面上看到的第一个示例是您应该做什么,将cat更改为mysqlimport。
您看到0行的原因是因为要导入到InnoDB表,这意味着在进程完成之前不会看到它的插入。有两种方法可以监视进展情况:
alltweet.ibd,它位于datadir的twitter_data目录中。您可以通过执行:显示像‘datadir’这样的全局变量来检查datadir的位置;默认情况下,它通常在/var/lib/mysql上。该文件的大小将与.txt文件的大小大致相同,可能更大一些(取决于结构)。这一点,以及它正在增长的进展,可以作为剩余时间的一个指标。Handler_write状态变量:显示全局状态,如‘Handler_ will’;这将给出插入到数据库中的行数。假设没有其他插入活动,这可以给出插入/秒的数量,您可以将其与文件的行数进行比较。提醒您,MariaDB和Percona都有更好的默认设置,以显示挂起的工作剩余。
如果您想要使用.txt文件加速大量插入,那么我在不久前编写了关于如何加快速度的指南。总结如下:
https://dba.stackexchange.com/questions/83835
复制相似问题