在Pandas数据帧中用NaT替换date

Question

我得到了一个数据帧，其中有一个datetime64类型的列。在此列中，有几行日期为1999-09-09 23:59:59，而它们实际上应该表示为missing dates NaT。有人决定用这个特定的日期来表示丢失的数据。现在，我希望将这些日期替换为NaT (Pandas缺少的日期类型)。

另外，如果我使用NaTs在此列上执行操作，例如

df['date'] - df['column with missing date']

Pandas会忽略丢失的日期并维护这些行的NaT吗?还是会抛出一个错误，比如Java语言中的空指针异常。

Answer 1

In [6]:
import pandas as pd
df = pd.DataFrame({'date':[pd.datetime(1999,9,9,23,59,59), pd.datetime(2014,1,1)]* 10})
df
Out[6]:
                  date
0  1999-09-09 23:59:59
1  2014-01-01 00:00:00
2  1999-09-09 23:59:59
3  2014-01-01 00:00:00
4  1999-09-09 23:59:59
5  2014-01-01 00:00:00
6  1999-09-09 23:59:59
7  2014-01-01 00:00:00
8  1999-09-09 23:59:59
9  2014-01-01 00:00:00
10 1999-09-09 23:59:59
11 2014-01-01 00:00:00
12 1999-09-09 23:59:59
13 2014-01-01 00:00:00
14 1999-09-09 23:59:59
15 2014-01-01 00:00:00
16 1999-09-09 23:59:59
17 2014-01-01 00:00:00
18 1999-09-09 23:59:59
19 2014-01-01 00:00:00
In [9]:

import numpy as np
df.loc[df['date'] == '1999-09-09 23:59:59 ', 'date'] = pd.NaT
df
Out[9]:
         date
0         NaT
1  2014-01-01
2         NaT
3  2014-01-01
4         NaT
5  2014-01-01
6         NaT
7  2014-01-01
8         NaT
9  2014-01-01
10        NaT
11 2014-01-01
12        NaT
13 2014-01-01
14        NaT
15 2014-01-01
16        NaT
17 2014-01-01
18        NaT
19 2014-01-01

为了回答你的第二个问题，大多数pandas函数都可以适当地处理NaN，你可以直接删除它们：

In [10]:

df.dropna()
Out[10]:
         date
1  2014-01-01
3  2014-01-01
5  2014-01-01
7  2014-01-01
9  2014-01-01
11 2014-01-01
13 2014-01-01
15 2014-01-01
17 2014-01-01
19 2014-01-01

并仅在这些行上执行操作

Answer 2

有一些操作，特别是列之间的操作，不会忽略NaNs或NaTs。这就是为什么你会得到NaTs的结果。如果您不想考虑1999-09-09 23:59:59，并且还有一个可减去的列，请尝试转换为NaTs，然后用零(.fillna(0))交换NaTs，这样在减去NaTs时，它将保留另一列中的值。