TFX / Tensorflow数据验证(TFDV)不适用于数据漂移

Question

我不确定下面的代码有什么问题。我阅读了文档，所有这些文档都指出了一种类似于此的方法。

这里有一个简单的例子，它不起作用。我的期望是对功能x1的通知，因为两个数据集之间的分布非常不同。

import numpy as np
import pandas as pd
import tensorflow_data_validation as tfdv

NUM_VALS_TRAIN = 10000

# -------- Today --------

df = pd.DataFrame({
    'x1': np.random.normal(4, 3, NUM_VALS_TRAIN),
    'x2': np.random.normal(-3, 4, NUM_VALS_TRAIN)})

stats_train_today = tfdv.generate_statistics_from_dataframe(df)

# -------- Yesterday --------

df = pd.DataFrame({
    'x1': np.random.normal(400, 300, NUM_VALS_TRAIN),
    'x2': np.random.normal(-3, 4, NUM_VALS_TRAIN)})

stats_train_yesterday = tfdv.generate_statistics_from_dataframe(df)

# -------- Validate --------

schema = tfdv.infer_schema(stats_train_yesterday)

tfdv.get_feature(schema, 'x1').drift_comparator.infinity_norm.threshold = 0.01

anomalies = tfdv.validate_statistics(statistics=stats_train_today,
                                     schema=schema,
                                     previous_statistics=stats_train_yesterday)

tfdv.display_anomalies(anomalies)

结果始终为No anomalies found.

这段代码有什么问题？

(使用tfx==0.24.1)

Answer 1

好的我在https://github.com/tensorflow/data-validation/blob/master/RELEASE.md找到了这个

事实证明它还没有实现。