如果将FeatureUnion的transformer_weights设置为0，会发生什么情况？

Question

如果将FeatureUnion的transformer_weights设置为0，会发生什么情况？我想知道我是否可以使用这种方法来选择退出GridSearchCV中的一组功能。通过这种方式，我可以利用GridSearchCV的交叉验证来测试某个特征是否可以改善预测。

此外，任何不同的模型如何反应这种transformer_weights变化的想法。我认为带有平滑功能的MultinationalNB可以用来测试一组功能是否有用。

(或者关于如何测试功能重要性的任何其他想法？我的另一个想法是做一个特征选择，看看各种特征选择方法是否丢弃了“羽毛被测试”。但另一方面，GridSearchCV的最佳估计器在待测数据集上的预测性能是一个“终极”测试，所以我仍然会使用这个测试而不是特征选择。)

下面是一个使用FeatureUnion的管道示例。

pipeline = Pipeline([
    # Use FeatureUnion to combine the features
    ('union', FeatureUnion(
        transformer_list=[
            # Pipeline for pulling features from the post's subject line
            ('subject', Pipeline([
                ('selector', ItemSelector(key='subject')),
                ('tfidf', TfidfVectorizer(min_df=50)),
            ])),

            # Pipeline for standard bag-of-words model for body
            ('body_bow', Pipeline([
                ('selector', ItemSelector(key='body')),
                ('tfidf', TfidfVectorizer()),
                ('best', TruncatedSVD(n_components=50)),
            ])),
        ],

        # weight components in FeatureUnion
        transformer_weights={
            'body_bow': 1.0,
            'subject': 0.0,
        },
    )),

    ('svc', SVC(kernel='linear')),
])

来自Matt Terry的完整示例可以在here中找到

Answer 1

它只是一些变压器输出的常量乘法器。也就是说，您可以假设每个转换器的这个常量默认为1，并且您的FeatureUnion将输出：

numpy.hstack((body_bow_output_matrix*1.0, subject_output_matrix*0.0))

也请阅读此feature selection。