我有一个朴素的贝叶斯分类器(用WEKA实现),它可以查找大写字母。
contains_A
contains_B
...
contains_Z对于某个类,单词LCD几乎出现在训练数据的每个实例中。当我得到"LCD“属于该类别的概率时,它大约是0.988。赢。
当我得到"L“的概率时,我得到的是纯0,而"LC”的概率是0.002。既然特征是幼稚的,那么L、C和D不是应该独立地贡献总体概率吗,因此"L“具有一定的概率,"LC”更多,"LCD“更多?
同时,对于MLP,相同的实验没有上述行为,而是给出了0.006,0.5和0.8%的百分比
所以MLP做了我期望朴素贝叶斯做的事情,反之亦然。我是不是漏掉了什么,有谁能解释这些结果吗?
发布于 2013-01-24 00:45:22
当使用文本作为“特征”时,该文本被转换为二进制值的向量。每个值对应一个具体的单词。向量的长度等于字典的大小。
如果您的字典包含4个世界: LCD,VHS,HELLO,WORLD,那么例如文本HELLO LCD将转换为1,0,1,0。
我不知道WEKA是如何构建它的字典的,但我认为它可能会复习示例中出现的所有单词。除非"L“出现在字典中(因此出现在示例中),否则它的概率在逻辑上为0。实际上,它甚至不应该被认为是一个特征。
实际上,你不能对特征的概率进行推理--你也不能把它们加在一起,我认为这些特征之间没有这样的关系。
发布于 2013-08-29 03:36:56
请注意,在文本挖掘中,如果您使用任何类型的术语权重和规范化,例如tf.idf,则可能会为单词(在您的案例中为字母)赋予不同于其实际计数的权重。例如,在tf.idf的情况下,字符计数被转换为对数刻度,也可以使用idf归一化来惩罚出现在每个单独实例中的字符。
我不确定您正在使用什么选项将数据转换为Weka要素,但您可以在此处看到Weka具有要为这些权重和归一化选项设置的参数
http://weka.sourceforge.net/doc.dev/weka/filters/unsupervised/attribute/StringToWordVector.html
-T将词频转换为log(1+fij),其中fij是第j个文档(实例)中单词i的频率。
-I将每个词频转换为: fij *log(文档数/包含word i的文档数),其中fij表示第j个文档(实例)中word i的词频
发布于 2014-07-11 08:19:01
我查看了weka文档,我没有看到支持将字母提取为特征。这意味着weka函数可能需要一个空格或标点符号来将每个特征与相邻的特征分隔开来。如果是这样,那么对"L“、"C”和"D“的搜索将被解释为三个单独的一个字母的单词,并解释为什么没有找到它们。
如果您认为就是这样,那么可以尝试在摄取之前将文本拆分为由\n或空格分隔的单个字符。
https://stackoverflow.com/questions/13818278
复制相似问题