Numpy CSV fromfile()

Question

我可能试图在这里重新发明轮子，但是numpy有一个fromfile()函数，可以读取--我想-- CSV文件。

它看起来非常快，甚至与Pandas read_csv()相比，但我不清楚它是如何工作的。

下面是一些测试代码：

import pandas as pd
import numpy as np

# Create the file here, two columns, one million rows of random numbers.
filename = 'my_file.csv'
df  = pd.DataFrame({'a':np.random.randint(100,10000,1000000), 'b':np.random.randint(100,10000,1000000)})
df.to_csv(filename, index = False)

# Now read the file into memory.
arr = np.fromfile(filename)

print len(arr)

我在最后加入了len()，以确保它不是只读一行。但奇怪的是，对我来说，长度(根据随机数的产生而变化)是1,352,244。哈?

医生们显示一个可选的sep参数。但在使用时：

arr = np.fromfile(filename, sep = ',')

...we的长度是0?！

理想情况下，我可以从这个CSV文件中加载一个2D数组，但我会满足于从这个CSV加载一个数组。

我在这里错过了什么？

Answer 1

numpy.fromfile不是用来读取.csv文件的，而是用于读取用numpy.ndarray.tofile方法编写的数据。

从医生那里：

一种使用已知数据类型读取二进制数据以及解析简单格式化文本文件的高效方法。使用tofile方法编写的数据可以使用此函数读取。

通过在不使用sep参数的情况下使用它，numpy假定您正在读取二进制文件，因此长度不同。当您指定分隔符时，我猜该函数会中断。

要使用numpy读取.csv文件，我认为可以使用numpy.genfromtext或numpy.loadtxt (从这个问题)。