如何将大型维基百科sql文件导入到mysql数据库中？

Question

我需要一个包含“主题”的数据库表，所以我下载了维基百科的分类sql文件(http://dumps.wikimedia.org/enwiki/latest/上的enwiki-latest- categories y.sql.gz)

文件大小为74MB (解压后)，但mysql限制为32MB。如何导入此文件？

顺便说一句，我尝试过bigdump (http://www.ozerov.de/bigdump/)，但它似乎也有32MB的导入限制。

Answer 1

您可以将其拆分为32MB的片段，然后单独导入它们。这应该不会太耗时。

Answer 2

如果你在你的Windows桌面上安装了mysql，我有一些疯狂的东西你可能想试试。

请在本地mysql机器上执行以下步骤

最新分类步骤01)解压文件enwiki--

• y.sql.gz到CREATE DATABASE mycat;
• STEP 02) 03) ` `mysql
  • ...-p...-Dmycat < enwiki-latest-category.sql
  • STEP 04)导出类别的CREATE TABLE

mysqldump -u...-p...--无数据mycat category > category_00.sql

• STEP 05)将数据分成10个部分进行转储。由于AUTO_INCREMENT为134526529，因此将其舍入为135000000 (1.35亿)。一次转储20% (2700万)

只需对cat_id使用--where选项运行5个mysqldump

mysqldump -u... -p... --no-create-info mycat category --where="cat_id <=  27000000"                         | gzip > category_01.sql.gz
mysqldump -u... -p... --no-create-info mycat category --where="cat_id  >  27000000 AND cat_id <=  54000000" | gzip > category_02.sql.gz
mysqldump -u... -p... --no-create-info mycat category --where="cat_id  >  54000000 AND cat_id <=  81000000" | gzip > category_03.sql.gz
mysqldump -u... -p... --no-create-info mycat category --where="cat_id  >  81000000 AND cat_id <= 108000000" | gzip > category_04.sql.gz
mysqldump -u... -p... --no-create-info mycat category --where="cat_id  > 108000000"                         | gzip > category_05.sql.gz

上传这6个文件，解压缩，然后按顺序加载。

试一试吧！