我需要导入维基百科转储(mysql表,解压的文件需要大约50 to )到Hadoop(hbase)。现在,我首先将dump加载到mysql中,然后将数据从mysql传输到hadoop。但是将数据加载到mysql需要大量的时间--大约4-7天。是否可以将mysql转储直接加载到hadoop中(通过转储文件解析器或其他类似工具)?
我已经创建了一个php/mysql刮板,它运行得很好,但我不知道如何将它作为cron作业来最有效地运行。我应该将其作为1个cron作业运行整个4-7个小时,还是每小时运行7次,或者每10分钟运行一次,直到完成?我用普通的PHP/mysql写的,它运行在只安装了lighttpd/mysql/php5的cut down d
例如,系列4,5,6,7被编写为4-7。我的目标是扩展这个字符串,使所有数字都由comas分隔(4-7应该变成4,5,6,7)。我做了什么,s="4092-4093,4095-4097,4104,4107,4111,4125-4127"如何将4-7类型的模式替换为字符串中的4,5,6,7?我在Mac OS X 10.11.3上使用Terminal 2.6.1 (361.1)