如何使用过采样和欠采样的组合？使用不平衡学习

Question

我想重新采样一些大数据(类大小: 8mio vs 2700)，我希望通过过采样类2和欠采样类1来获得每个样本的50.000个样本。imblearn似乎提供了过采样和欠采样的组合，但我不明白它是如何工作的。

from collections import Counter
from imblearn.over_sampling import SMOTENC
from imblearn.under_sampling import TomekLinks
from imblearn.combine import SMOTETomek

smt = SMOTETomek(random_state=1)
X_resamp, y_resamp = smt.fit_resample(data_all[29000:30000], labels_all[29000:30000])

在数据看起来像

>>Counter(labels_all[29000:30000])
>>Counter({0: 968, 9: 32})

在那之后

>>Counter(y_resamp)
>>Counter({0: 968, 9: 968})

就像我所期望或希望的那样

>>Counter(y_resamp)
>>Counter({0: 100, 9: 100})

Answer 1

似乎只有32条记录属于9类，所以它会对该类进行过采样，并将其数据记录与0类的数据记录对齐，因此使用9: 968

你正在谈论的是将数据集减少到100条记录，你可以从X和Y中随机抽取每个类的100条记录(相同的100条记录)，或者像y_resamp[:100]一样抽取前100条记录