熊猫资料资料类型？

Question

我正在尝试使用Pandas和Pyarrow来获取数据。我有数百个拼板文件，它们不需要有相同的模式，但是如果跨parquets的列匹配，它们必须具有相同的数据类型。

我遇到的情况是，产生的拼花数据类型不是我想要的那样。例如，我可能会将一个int64写到一个列中，产生的拼图将是double格式的。这在处理端造成了很多麻烦，99%的数据被正确地输入，但在1%的情况下，它只是错误的类型。

我试过导入numpy然后用这种方式包装值-

import numpy as np

pandas.DataFrame({
  'a': [ np.int64(5100), np.int64(5200), np.int64(5300) ]
})

但我还是偶尔得到双倍，所以这一定是错误的方法。如何确保跨分段文件的列之间的数据类型是一致的？

更新-

我发现只有当列包含一个或多个None时才会发生这种情况。

data_frame = pandas.DataFrame({
  'a': [ None, np.int64(5200), np.int64(5200) ]
})

地板不能处理混合的64科尔吗？

Answer 1

熊猫本身目前无法处理整数列中的null/na值(0.23.x版)。在下一个版本中，将有一个可为空的整数类型。同时，一旦整数列中有空值，Pandas就会自动将其转换为float列。因此，在生成的Parquet文件中也有一个float列：

import numpy as np
import pandas as pd

df = pd.DataFrame({
  'a': [np.int64(5100), np.int64(5200), np.int64(5300)]
})
# df['a'].dtype == dtype('int64')
df = pd.DataFrame({
  'a': [None, np.int64(5200), np.int64(5200)]
})
# df['a'].dtype == dtype('float64')