我需要导入维基百科转储(mysql表,解压的文件需要大约50 to )到Hadoop(hbase)。现在,我首先将dump加载到mysql中,然后将数据从mysql传输到hadoop。但是将数据加载到mysql需要大量的时间--大约4-7天。是否可以将mysql转储直接加载到hadoop中(通过转储文件解析器或其他类似工具)?
例如,系列4,5,6,7被编写为4-7。我的目标是扩展这个字符串,使所有数字都由comas分隔(4-7应该变成4,5,6,7)。我做了什么,s="4092-4093,4095-4097,4104,4107,4111,4125-4127"如何将4-7类型的模式替换为字符串中的4,5,6,7?我在Mac OS X 10.11.3上使用Terminal 2.6.1 (361.1)