RobustScaler in PySpark

Question

我想使用RobustScaler对数据进行预处理。在滑雪板中，可以在

sklearn.preprocessing.RobustScaler

。但是，我使用的是吡咯烷酮，所以我尝试用以下方式导入它：

 from pyspark.ml.feature import RobustScaler

但是，我收到以下错误：

ImportError: cannot import name 'RobustScaler' from 'pyspark.ml.feature' 

正如帕特所指出的，RobustScaler仅在pyspark 3中实现，我试图将其实现为：

class PySpark_RobustScaler(Pipeline):
    def __init__(self):
        pass

    def fit(self, df):
        return self

    def transform(self, df):
        self._df = df
        for col_name in self._df.columns:
            q1, q2, q3 = self._df.approxQuantile(col_name, [0.25, 0.5, 0.75], 0.00)
            self._df = self._df.withColumn(col_name, 2.0*(sf.col(col_name)-q2)/(q3-q1))
        return self._df

arr = np.array(
            [[ 1., -2.,  2.],
            [ -2.,  1.,  3.],
            [ 4.,  1., -2.]]
          )

rdd1 = sc.parallelize(arr)
rdd2 = rdd1.map(lambda x: [int(i) for i in x])
df_sprk = rdd2.toDF(["A", "B", "C"])
df_pd = pd.DataFrame(arr, columns=list('ABC'))

PySpark_RobustScaler().fit(df_sprk).transform(df_sprk).show()
print(RobustScaler().fit(df_pd).transform(df_pd))

然而，我发现为了获得同样的学习结果，我必须将结果乘以2。此外，我担心如果一个列有许多接近于零的值，那么q3-q1的四分位数范围就会变得太小，结果就会发散，从而产生空值。

有人对如何改进它有什么建议吗？

Answer 1

这一特性已经在最近火花放电版本中发布。