我在我的pytest套件上进行了一些测试,这些测试将数据格式与assert df1.collect() == df2.collect()进行比较。
如果我在Pychar IDE中执行代码,测试就会通过,如果我在控制台中执行测试,就会引发断言错误。
经过一些调试后,我发现当我用控制台执行测试时,收集的结果是无序的。
例如,如果我的dataframe有两行,这段代码将在Pycharm中传递,但它在控制台中失败:
assert df1.collect()[0] == df2.collect()[0]这个程序在Pycharm中会失败,但是它会通过控制台:
assert df1.collect()[1] == df2.collect()[0]我尝试用python3 -m pytest和pytest调用pytest。Pycharm和控制台使用相同的venv。
发布于 2022-07-01 12:42:57
据我所知,.collect()并不保证任何订单。由于数据是从可能多个执行程序发送到驱动程序的,所以可能是一个执行器比另一个执行器更快。与其比较单个元素,不如尽可能地将列表作为一个整体进行比较。
例如。
assertCountEqual(df1.collect(), df2.collect())https://stackoverflow.com/questions/72829397
复制相似问题