Pandas中数据数据的快速处理

Question

我正在尝试处理非常大的文件(10,000+观察)，在这些文件中，邮政编码不易格式化。我需要将它们全部转换为前5位数字，下面是我的当前代码：

def makezip(frame, zipcol):
    i = 0
    while i < len(frame):
        frame[zipcol][i] = frame[zipcol][i][:5]
        i += 1
    return frame

frame是dataframe，zip是包含邮政编码的列的名称。虽然这是可行的，但它需要很长的时间来处理。有更快的路吗？

Answer 1

您可以使用字符串列上的.str访问器来访问某些特定的字符串方法。在这一点上，你也可以分割：

frame[zipcol] = frame[zipcol].str[:5]

根据一个小例子，这大约是行循环速度的50倍：

In [29]: s = pd.Series(['testtest']*10000)

In [30]: %timeit s.str[:5]
100 loops, best of 3: 3.06 ms per loop

In [31]: %timeit str_loop(s)
10 loops, best of 3: 164 ms per loop

威斯

In [27]: def str_loop(s):
   .....:     for i in range(len(s)):
   .....:         s[i] = s[i][:5]
   .....: