我刮了很多像这个一样的易趣的标题:
Apple iPhone 5 White 16GB Dual-Core我已经用这种方式手动标记了所有这些
B M C S NAB=Brand (苹果) M=Model (iPhone 5) C=Color (白色) S=Size (大小) NA=Not分配(双核)
现在,我需要使用python中的libsvm库来训练SVM分类器,以了解ebay标题中出现的序列模式。
我需要为该属性(品牌、模型、颜色、大小)提取新的价值,将问题作为一个分类问题来考虑。这样我就可以预测新的模型了。
我希望将这些特性表示为libsvm库的输入。我在python工作:D。
我想我可以用这样的方式来解释
0 --> Brand
1 --> Model
2 --> Color
3 --> Size
4 --> NA如果我知道这个词是一个品牌,我会把这个变量设置为1 (true)。在训练测试中这样做是可以的(因为我已经标记了所有的单词),但是我如何才能为测试集做到这一点呢?我不知道一个词的分类是什么(这就是为什么我要学习它:D)。
不知道,这是什么意思?
我如何建模这个功能?
考虑到我为第一个特性创建的图例,我有5^(5)组合)
00 10 20 30 40
01 11 21 31 41
02 12 22 32 42
03 13 23 33 43
04 14 24 34 44我如何将它转换成libsvm (或scikit-learn)能够理解的格式?
4. Membership to the 4 dictionaries of attributes再说一遍,我该怎么做?有4个字典(颜色、大小、型号和品牌),我必须创建一个bool变量,如果并且只有当我在4个字典中的一个中有一个匹配当前单词时,我才会设置为true。
我认为,就像在4.特性中一样,我必须使用bool变量。你同意吗?
如果这个问题缺乏信息,请阅读我之前的问题,地址是:在Python中使用libsvm特性示例的支持向量机
最后的疑问:如果我有一个像iPhone 5这样的多标记值.我必须将iPhone标记为一个品牌,5也要标记为一个品牌,还是将{iPhone 5}标记为一个品牌更好??
在测试数据集中,iPhone和5将是两个分离字.那么,还有什么更好的办法呢?
发布于 2015-07-03 08:51:53
在上一个问题中向您提出的解决方案没有足够的结果(我想)的原因是这个问题的特性很差。
如果我理解正确,你想要的是以下内容:
考虑到判决-
苹果iPhone 5白色16双核
你得.
B、中、中、南、纳
您在这里描述的问题相当于自然语言处理中的词性标注 (POS)。
请考虑以下英语句子:
我们看见那条黄色的狗
POS的任务是给每个单词适当的标签。在这种情况下:
我们(PRP)看到(DT)黄色(JJ)狗(NN)
不要把时间花在理解这里的英语标签上,因为我在这里说它只是为了向你展示你的问题和词性是平等的。
在我解释如何使用支持向量机解决这个问题之前,我想让您了解其他方法:将句子Apple iPhone 5 White 16GB Dual-Core作为测试数据。在标记单词Apple时,必须将设置为单词iPhone的标记作为标记器的输入。但是,在给单词加上标签之后,您将不会更改它。因此,进行顺序标注的模型通常会得到更好的结果。最简单的例子是隐马尔可夫模型(HMM)。这里是POS中HMM的简短介绍。
现在我们把这个问题建模为分类问题。让我们来定义什么是窗口-
`W-2,W-1,W0,W1,W2`在这里,我们有一个大小为2的窗口。在对单词W0进行分类时,我们需要窗口中所有单词的特性(连接)。请注意,对于我们将使用的句子的第一个单词:
`START-2,START-1,W0,W1,W2`为了模拟这个事实,这是第一个词。第二个词是:
`START-1,W-1,W0,W1,W2`同样,句末的单词也是如此。必须将标记START-2、START-1、STOP1、STOP2添加到模型2中。
现在,让我们描述一下用于标记W0的特性:
Features(W-2),Features(W-1),Features(W0),Features(W1),Features(W2)标记的特征应该是单词本身和标记(给出前一个单词)。我们将使用二进制特征。
示例-如何构建特性表示:
步骤1-为每个令牌构建单词表示
让窗口大小为1。在对令牌进行分类时,我们使用W-1,W0,W1。假设你建立了一本字典,并给语料库中的每个单词一个数字:
n['Apple'] = 0
n['iPhone 5'] = 1
n['White'] = 2
n['16GB'] = 3
n['Dual-Core'] = 4
n['START-1'] = 5
n['STOP1'] = 6步骤2-每个标记的特性标记
我们为以下标记创建特性:
n['B'] = 7
n['M'] = 8
n['C'] = 9
n['S'] = 10
n['NA'] = 11
n['START-1'] = 12
n['STOP1'] = 13让我们为START-1,Apple,iPhone 5构建一个特征向量:第一个标记是带有已知标记的单词(START-1总是有标记START-1)。因此,此令牌的功能如下:
(0,0,0,0,0,0,1,0,0,0,0,0,1,0)(特性为1:具有单词START-1和标记START-1)
对于令牌Apple
(1,0,0,0,0,0,0)注意,我们对W0之前的每个单词都使用了已经计算过的标记特性(因为我们已经计算过了)。类似地,令牌iPhone 5的特性
(0,1,0,0,0,0,0)步骤3将所有特性连接起来
一般来说,一个窗口的功能将是:
word(W-1),tag(W-1),word(W0),word(W1)关于你的问题--我会再用一个标签-- number --这样当你标记单词5 (因为你用空格分隔标题)时,功能W0将在某个数字特征上有一个1,在W-1的model标记中有一个--以防前面的标记被正确地标记为模型。
总之,你应该做的是:
最后注意事项--现有代码的一个温暖提示:
您可以找到在python 这里中实现的POS标签。它包括对问题和代码的解释,以及我刚才为您描述的特性提取。此外,他们使用set来表示每个单词的特性,因此代码更易于阅读。
该标记程序接收的数据应该如下所示:
Apple_B iPhone_M 5_NUMBER White_C 16GB_S Dual-Core_NA特征提取就是这样做的(请参阅上面链接中的更多内容):
def get_features(i, word, context, prev):
'''Map tokens-in-contexts into a feature representation, implemented as a
set. If the features change, a new model must be trained.'''
def add(name, *args):
features.add('+'.join((name,) + tuple(args)))
features = set()
add('bias') # This acts sort of like a prior
add('i suffix', word[-3:])
add('i-1 tag', prev)
add('i word', context[i])
add('i-1 word', context[i-1])
add('i+1 word', context[i+1])
return features关于上面的例子:
context = ["Apple","iPhone","5","White","16GB","Dual-Core"]
prev = "B"
i = 1
word = "iPhone"通常,word是当前单词的str,context是拆分成列表的标题,prev是您收到的前一个单词的标记。
我在过去使用过这段代码,它运行得很快,效果很好。希望它是清晰的,有乐趣的标签!
https://stackoverflow.com/questions/31104106
复制相似问题