我使用不同的机器学习算法来实现不同的分类器。
我正在对文本文件进行排序,如下所示:
classifier = Pipeline([
('vectorizer', CountVectorizer ()),
('TFIDF', TfidfTransformer ()),
('clf', OneVsRestClassifier (GaussianNB()))])
classifier.fit(X_train,Y)
predicted = classifier.predict(X_test)当我使用算法GaussianNB时,会发生以下错误:
TypeError:传递稀疏矩阵,但需要密集数据。使用X.toarray ()将其转换为密集的numpy数组。
我看到了下面的这里帖子
在这个帖子中,创建了一个类来执行数据的转换。用TfidfTransformer修改我的代码是可能的。我怎么才能解决这个问题?
发布于 2015-07-05 08:43:48
您可以执行以下操作:
class DenseTransformer(TransformerMixin):
def transform(self, X, y=None, **fit_params):
return X.todense()
def fit_transform(self, X, y=None, **fit_params):
self.fit(X, y, **fit_params)
return self.transform(X)
def fit(self, X, y=None, **fit_params):
return self
classifier = Pipeline([
('vectorizer', CountVectorizer ()),
('TFIDF', TfidfTransformer ()),
('to_dense', DenseTransformer()),
('clf', OneVsRestClassifier (GaussianNB()))])
classifier.fit(X_train,Y)
predicted = classifier.predict(X_test)现在,作为管道的一部分,数据将转换为密集表示。
顺便说一下,我不知道您的约束,但也许您可以使用另一个分类器,如RandomForestClassifier或支持向量机,它们确实接受稀疏表示中的数据。
https://stackoverflow.com/questions/31228303
复制相似问题