Weka，SVM技术输出

Question

我在Weka和支持向量机合作

我有一些数据，我尝试了支持向量机(我尝试了不同的C值)技术来分析这些数据。但是输出结果让我完全困惑，这就是为什么我希望得到一些帮助。

这是1次多项式核的输出：

Scheme:weka.classifiers.meta.CVParameterSelection -P "C 0.001 10.0 5.0" -X 10 -S 1 -W weka.classifiers.functions.SMO -- -C 0.7 -L 0.001 -P 1.0E-12 -N 0 -V -1 -W 1 -K "weka.classifiers.functions.supportVector.PolyKernel -C 250007 -E 1.0"


Classifier Options: -C 7.5003 -L 0.001 -P 1.0E-12 -N 0 -V -1 -W 1 -K "weka.classifiers.functions.supportVector.PolyKernel -C 250007 -E 1.0"
=== Summary ===    
Correctly Classified Instances          83               79.0476 %
Incorrectly Classified Instances        22               20.9524 %
Kappa statistic                          0.6555
Mean absolute error                      0.0487
Root mean squared error                  0.1549
Relative absolute error                 91.5633 %
Root relative squared error            100.2828 %
Total Number of Instances              105    

这是2次多项式核的输出：

Scheme:weka.classifiers.meta.CVParameterSelection -P "C 0.001 10.0 5.0" -X 10 -S 1 -W weka.classifiers.functions.SMO -- -C 0.7 -L 0.001 -P 1.0E-12 -N 0 -V -1 -W 1 -K "weka.classifiers.functions.supportVector.PolyKernel -C 250007 -E 2.0"


Classifier Options: -C 2.5008 -L 0.001 -P 1.0E-12 -N 0 -V -1 -W 1 -K "weka.classifiers.functions.supportVector.PolyKernel -C 250007 -E 2.0"
=== Summary ===    
Correctly Classified Instances          87               82.8571 %
Incorrectly Classified Instances        18               17.1429 %
Kappa statistic                          0.7236
Mean absolute error                      0.0486
Root mean squared error                  0.1547
Relative absolute error                 91.4748 %
Root relative squared error            100.1845 %
Total Number of Instances              105    

这是高斯核的输出，伽玛值为1.0：

Scheme:weka.classifiers.meta.CVParameterSelection -P "C 0.001 10.0 5.0" -X 10 -S 1 -W weka.classifiers.functions.SMO -- -C 0.7 -L 0.001 -P 1.0E-12 -N 0 -V -1 -W 1 -K "weka.classifiers.functions.supportVector.RBFKernel -C 250007 -G 1.0"


Classifier Options: -C 2.5008 -L 0.001 -P 1.0E-12 -N 0 -V -1 -W 1 -K "weka.classifiers.functions.supportVector.RBFKernel -C 250007 -G 1.0"
=== Summary ===
   Correctly Classified Instances          87               82.8571 %
Incorrectly Classified Instances        18               17.1429 %
Kappa statistic                          0.721 
Mean absolute error                      0.0486
Root mean squared error                  0.1547
Relative absolute error                 91.4571 %
Root relative squared error            100.1651 %
Total Number of Instances              105     

以下是我的问题：

• 为什么“分类器选项：-Cxxxxx”的分类器有不同的C值？我认为与C值有关的是，我正在检查“C 0.001 10.05.0”，但我可能错了，也可能得出了错误的结论。我认为用“C 0.001 10.05.0”来尝试值0.001、0.01、0.1、1.0和10.0。如果这是真的，为什么C的值是: 7.5003和2.5008？
• 正确分类实例的百分比在所有不同的运行中都是非常相似的，我不明白为什么…什么意思？如果它是12%，我会认为支持向量机不是一种合适的技术(它不是线性可分的)，而是80% (在改变参数之后没有变化或很少变化)，我不知道如何看待…
• 如果我检查Weka的“可视化”中的数据，数据看上去并不是线性可分的，但是由于使用SVM时大量维度的转换，我认为不可能从可视化中得到结论。

Answer 1

1)是的，您使用的是CVParameterSelection，它在您的情况下用5个步骤尝试不同的参数，从0.001到10。这些步骤将是0.001 +k* (10-0.001)/4)，因为您的第一步定义为0.001。如果您舍入以下值(对于k= 0/1/2/3/4)，则会发现它们适合。

(步骤1) 0.001

步骤2) 2.50075

步骤3) 5.005

步骤4) 7.50025

第5步) 10.0

2)如果你有12%的准确率，就会有一些非常奇怪的事情。随机分类(假设您有平衡的数据)将导致50%的结果。我不能告诉你82%是否是一个好结果，因为我不知道你的数据。

3)关于linar可分性的问题。这正是支持向量机如此优秀的原因。带有右内核的支持向量机将您的数据转换为更高的特性，以消除不可分离性。RBF核可以将你的数据转换成无限维的特征空间.这就是为什么完美的线阵分离是可能的原因。此时可能会发生过度拟合。为了避免这一点，并达到一个良好的概括，您有您的复杂性参数C。

在这里，您可以在好的stackexchange文章中阅读关于最后一点https://stats.stackexchange.com/questions/80398/how-can-svm-find-an-infinite-feature-space-where-linear-separation-is-always-p的更多内容