通过只有相隔数月的行来过滤数据。

Question

Date    Latitude    Longitude   Disaster
2011-01-10  56.79   89.90   Cyclone
2011-02-09  45.01   79.24   Cyclone
2010-11-20  34.08   69.92   Cyclone
2010-12-19  66.78   125.35  Cyclone
2017-09-10  56.99   98.22   Cyclone

我有一个数据，我需要过滤它，使它包含的数据，在一个月的时间框架内反复发生气旋活动的。

我用合并操作来找出发生在同一地点的一对旋风-

merged_df = df.merge(df, on= ["Longitude","Latitude"], how ="inner")

我能够在一个月内找到特定日期的数据，例如: 2002-01-01，使用

df[dt['Date'] >= date(2002,1,1) & df['Date'] < date(2002,1,1) + relativedelta(months=1)].count()。

但我不知道该如何将它应用于整个数据，以便它给我的信息，在一个月的时间框架内反复发生的气旋活动。有人能帮我做到这一点吗？

Answer 1

如果您有内存，则使用merge本身，然后在合并后筛选到仅在1个月内发生的旋风。使用pd.offsets.DateOffset获得与relativedelta相同的逻辑

import pandas as pd

df['Date'] = pd.to_datetime(df.Date)
df = df[df.Disaster=='Cyclone'].reset_index()  # Need index to deduplicate later

merged = df.merge(df, on='Disaster', suffixes=['_1', '_2'])

mask = ((merged.index_1 > merged.index_2)  # Remove self merges and AB-BA duplicates
        & merged.Date_1.between(merged.Date_2 - pd.offsets.DateOffset(months=1), 
                                merged.Date_2 + pd.offsets.DateOffset(months=1)))

merged = merged[mask].drop(columns=['index_1', 'index_2'])

输出：merged

       Date_1  Latitude_1  Longitude_1 Disaster     Date_2  Latitude_2  Longitude_2
5  2011-02-09       45.01        79.24  Cyclone 2011-01-10       56.79        89.90
15 2010-12-19       66.78       125.35  Cyclone 2011-01-10       56.79        89.90
17 2010-12-19       66.78       125.35  Cyclone 2010-11-20       34.08        69.92

如果您确实只需要原始DataFrame中的行，并且配对是无用的，那么不要删除['index_1', 'index_2']并使用唯一值来子集原始DataFrame，或者使用merged + drop_duplicates上的pd.wide_to_long将其格式化为原来的样子。