比较两个考拉数据帧以进行测试

Question

Pandas有一个包含assert_frames_equal的测试模块。考拉也有类似的东西吗？

我正在编写一系列到考拉数据帧的转换测试。首先，由于我的测试csv文件只有几行(<10行)，我考虑只使用pandas。不幸的是，这些文件非常宽(接近200列)，并且具有在spark读取文件时指定的各种数据类型。由于熊猫的类型规范与考拉的类型规范非常不同，除了我们已经为spark编写的类型模式之外，我还必须编写大约200个完整的dtype列表。这就是为什么我们决定使用spark和koalas为测试创建数据帧会更有效率。但是，我在文档中找不到一种方法来比较数据帧，以查看转换的结果是否与我们创建的预期结果相同。

Answer 1

我最终使用了这个：

assert_frames_equal(kdf1.to_pandas(), kdf2.to_pandas())

这是可行的，我认为这是可以的，因为数据帧是“小”的。我想知道在koalas中没有实现这样的东西的原因是不是因为这样的断言的主要用途是在测试中，而测试应该是小的数据帧。