调试mahout逻辑回归

Question

我是新手..我正在尝试下面列出的标准“甜甜圈”示例：

http://imiloainf.wordpress.com/2011/11/02/mahout-logistic-regression/

所以这个例子的效果很不错。

但是，当我尝试在我的数据集(这是一个巨大的数据集)上实现它时，它不起作用。

数据集位于一个csv文件中。除了它有很多功能(~100)和1TB文件外，一切都是一样的。

我得到了这个错误。

 bin/mahout trainlogistic  --input /path/mahout_input/complete/input.csv \
--output mahoutmodel --target default --categories 2 --predictors O1 E1 I1 \
 --types numeric --features 30 --passes 100 --rate 50
Running on hadoop, using HADOOP_HOME=/opt/mapr/hadoop/hadoop-0.20.2
No HADOOP_CONF_DIR set, using /opt/mapr/hadoop/hadoop-0.20.2/conf
Exception in thread "main" java.lang.NullPointerException
        at org.apache.mahout.classifier.sgd.CsvRecordFactory.firstLine(CsvRecordFactory.java:167)
        at org.apache.mahout.classifier.sgd.TrainLogistic.main(TrainLogistic.java:75)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)
        at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:139)
        at org.apache.mahout.driver.MahoutDriver.main(MahoutDriver.java:187)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:186)

我做错了什么？

你是怎么调试这个的..错误是什么？？

谢谢

Answer 1

Answer 2

检查您的输入路径或确保输入路径的第一行的值仅在"“中，如"x1”、"x2“、"x3”、"lablel"..so on

Answer 3

也发生在我身上。

我的错误是忽略了一个不正确的--target参数，该参数不存在于列中。具体来说，我的标题行是

myColumn1,myColumn2,myColumn3

我的命令行是

mahout培训逻辑--输入./input.csv --输出./logistic_model

--target myMisTypedColumn1 --predictors myColumn2 myColumn3 --类型w--特征2--通过100 --率50 --类别2

另一个技巧是:不要使用“(引号)或长列名，所以你应该避免”是否mahout不喜欢我的列名？“等令人头疼的问题。

作为对MAHOUT的反馈:错误消息太可怕了。我们永远不应该在这样一个有前途的框架中看到"NullPointerException“。