用于分类的不平衡数据

Question

我有一个由大约10^6条目组成的数据集。但问题是数据是Imbalance的。

我使用Adboost创建了一个线性分类器。但是由于数据的不平衡，我的准确率很低。如何使用不平衡数据进行复制。我正在使用Graphlab。

下面是用于平衡数据的简单代码：

safe_loans_raw = loans[loans[target] == 1]
risky_loans_raw = loans[loans[target] == -1]

# Undersample the safe loans.
percentage = len(risky_loans_raw)/float(len(safe_loans_raw))
safe_loans = safe_loans_raw.sample(percentage, seed = 1)
risky_loans = risky_loans_raw
loans_data = risky_loans.append(safe_loans) 

但准确性仍然不令人满意，有没有人能为此提供有效的方法？

Answer 1

处理不平衡数据是数据挖掘和机器学习领域中最具挑战性的领域之一。因此，你不会马上找到一个简单、直接的答案。

在我的经验中，使用惩罚(或加权)评估指标是最好的方法之一(简短答案)，但是(总是有一个但是！)，您可以参考以下资源来找到有效的方法。您的问题更多的是一个科学问题，而不是工具的问题。

This应该处理这种情况，但在使用它之前，请确保您了解相关背景知识。

Free

Not Free but more valuable

Answer 2

您是如何得出数据不平衡导致准确率不高的结论的？因为根据您提供的代码，loans_data应该有平衡的数据(大约50%的风险贷款和50%的安全贷款)。请在创建loans_data后查看风险贷款和安全贷款的数量进行确认。

准确性较差可能是因为您选择了用于训练模型或数据本身的特征。

Answer 3

您还可以在boosted树中使用参数"class_weights="auto"，它在一定程度上处理不平衡的数据。有关更多信息，请查看以下内容：default paramters