使用IQR和groupby在for循环、python中过滤异常值

Question

我想按类别过滤离群值。对于每一列(fat_100g.)“main_category_fr”中的每一个类别，我想使用IQR方法进行筛选。

我的数据文件df：

​

​

我所做的是：

nutriments = ["fat_100g", "carbohydrates_100g", "fiber_100g", "proteins_100g", "salt_100g", "sodium_100g","nutrition_score","sugars_100g","saturated-fat_100g"]

for var in nutriments:
    IQR = round(df[var].quantile(0.75) - df[var].quantile(0.25), 1)
    limite_haute = round(df[var].quantile(0.75) +(1.5 * IQR),1)
    df = df.loc[(df[var].isnull()) | (df[var] <=limite_haute)]

但我不知道如何使用循环中的“main_category_fr”中的每个类别

Answer 1

在我们的讨论之后，您可以使用下面的代码作为起点。

您需要的是筛选出所有nutriments都不在由iqr定义的间隔内的所有行。

iqr = df[nutriments].apply(np.quantile, q=[0.25, 0.75])

out = df[((iqr.iloc[0] >= df[nutriments])
         & (df[nutriments] <= iqr.iloc[1])).all(axis=1)]