Mapr-Db大容量装载在减速器端出现故障。

Question

当处理减速器时出现以下错误时，大容量负载发生故障。我们正在M5集群上运行mapreduce，试图更新一个m7表。

java.io.IOException: bulkLoaderClose() on '/home/test/account122' failed
with error: Function not implemented (38). 
at com.mapr.fs.Inode.checkError(Inode.java:1611) 
at com.mapr.fs.Inode.checkError(Inode.java:1583) 
at com.mapr.fs.Inode.bulkLoaderClose(Inode.java:1278) 
at com.mapr.fs.MapRHTable.bulkLoaderClose(MapRHTable.java:119) 
at com.mapr.fs.hbase.BulkLoadRecordWriter.close(BulkLoadRecordWriter.java:160)
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:621)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:458)
at org.apache.hadoop.mapred.Child$4.run(Child.java:278)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1566) at org.apache.hadoop.mapred.Child.main(Child.java:267)

hbase版本为0.98.12-mapr-1506。

启用Mapr表进行大容量加载。减速机处理所有的数据和在大负荷时，它失败的一些方法。

请帮帮忙。

Answer 1

默认情况下，MaprdDb表不支持BulkLoading。未实现的错误函数(38)表示不支持此特性。

Answer 2

用于大容量装载的实用程序是什么？您可以使用ImportTsv批量加载到MapR表中。

Answer 3

我测试了下面的数据文件和导入。如果这在您的集群上有效，请试一试。

1)将以下数据添加到集群中的mfs中。将其替换为path ./mapr/demo.mapr.com/home/datafile.csv: 2014，1，1，3,2014-01，AA，N 338AA，1，JFK，LAX,0914,14.00,1238,13.00,0.00,385.00,359.00,2475.00，，，1，1，1，2，4,2014-01-01，AA，N 338 AA，1，JFK，LAX,0857，-3.00,1226,1.00,0.00,385.00,340.002475.00，，，

出口CF="cf1“

2) maprcli表删除-path /home/test/account122 122 3) maprcli表创建-path /home/test/account122 122 3) maprcli表cf创建-path /home/test/account122 122 -cfname $CF

运行导入作业

( 4)java -cp hbase classpath org.apache.hadoop.hbase.mapreduce.ImportTsv \ -Dimporttsv.separator=，\ -Dimporttsv.columns=$CF:year，$CF:qtr，$CF:month，$CF:dom，$CF:dow，HBASE_ROW_KEY，$CF:carrier，$CF:tailnum，$CF:flightnumber，$CF:origin，$CF:dest，$CF:deptime，$CF:depdelay，$CF:dest，，，$CF:securitydelay，$CF:aircraftdelay，$CF:dummy \ /home/test/account122 122\ /mapr/demo.mapr.com/home/datafile.csv