Pandas重塑日期框，groupby bins

Question

我需要你的帮助来重塑熊猫的数据框架。我对熊猫还是个新手(虽然已经坠入爱河了)，但这个问题一直困扰着我。

我从事一项环境研究，涉及到对特定路线上的汽车进行计数，记录它们的起点、目的地和乘客数量。

数据帧看起来像这样(除了实际上它包含10,000行)

df = pd.DataFrame(
    {'date':['20151201','20151202','20151203','20151204','20151204','20151205','20151206','20151207','20151210','20151211','20151212','20151225'],
                   'id':[123,234,543,890,543,123,234,543,123,123,123,890],
                   'event':[1,1,1,1,-1,-1,-1,-1,-1,-1,-1,-1],
                   'city':['AB','YU','CD','CD','YU','YU','BA','AB','CB','BA','CY','CC'],
                   'number of passengers':[1,5,1,20,1,1,5,10,2,25,3,20]
    }
)

   city      date  event   id  number of passengers
0    AB  20151201      1  123                     1
1    YU  20151202      1  234                     5
2    CD  20151203      1  543                     1
3    CD  20151204      1  890                    20
4    YU  20151204     -1  543                     1
5    YU  20151205     -1  123                     1
6    BA  20151206     -1  234                     5
7    AB  20151207     -1  543                    10
8    CB  20151210     -1  123                     2
9    BA  20151211     -1  123                    25
10   CY  20151212     -1  123                     3
11   CC  20151225     -1  890                    20

其中df‘’event‘表示城市是汽车的起点(1)还是目的地(-1)。df‘is’是汽车的唯一标识符(车牌)。

让事情变得更复杂(至少对我来说是这样)的是，可能会有多次观察到汽车返回相同的路线，同一天或另一天，当然观察是不完整的(例如，汽车返回原点时没有被注意到)。

df.set_index(['id','date','event']).unstack('event').swaplevel(0,1,axis=1)


event          -1    1                   -1                    1
             city city number of passengers number of passengers
id  date                                                        
123 20151201  NaN   AB                  NaN                    1
    20151205   YU  NaN                    1                  NaN
    20151210   CB  NaN                    2                  NaN
    20151211   BA  NaN                   25                  NaN
    20151212   CY  NaN                    3                  NaN
234 20151202  NaN   YU                  NaN                    5
    20151206   BA  NaN                    5                  NaN
543 20151203  NaN   CD                  NaN                    1
    20151204   YU  NaN                    1                  NaN
    20151207   AB  NaN                   10                  NaN
890 20151204  NaN   CD                  NaN                   20
    20151225   CC  NaN                   20                  NaN

我考虑的目标是创建一个数据帧，它显示来自一个城市的所有流量，它的目的地和观察到的乘客数量的出现(理想情况下绑定到诸如'(1-2)，(3-5)，(6-7)，(>7)这样的类别中)

理想情况下，我希望得到的数据帧如下所示：

Origin Destination     0-2     3-5     6-7   >7
AB    YU                1       0      0     0
      CB                1       0      0     0
      BA                0       0      0     1
      CY                0       1      0     0
YU    BA                0       2      0     0
CD    YU                1       2      0     0
      AB                0       0      1     0
      CC                0       0      0     1

添加了一个起始和目标列，通过

df['origin']= np.where(df['event'] == 1,df['city'],np.NAN)
df['destination']= np.where(df['event'] == -1,df['city'],np.NAN)

但是，重塑的下一步对我来说并不容易。我已经尝试了一些关于熊猫旋转和熊猫堆叠的东西，但我似乎遗漏了一些东西，因为它们都没有起作用。我想我也需要在某一点上使用pandas cut来进行装箱，但我在分析中没有达到这个阶段。

你能给我指个方向吗？我如何重塑数据以实现按来源查看流量？

Answer 1

我向你致以最诚挚的道歉，因为这很难理解，所以如果有人能想出更简单的方法，那就去做吧，但你可以这样做：

df['number of passengers'] = pd.cut(df['number of passengers'], 
                                bins=[0, 2, 5, 7, max(df['number of passengers']) + 1], 
                                right=False)

# Recode the factor levels for readable column labels when unstacked
df.ix[df['event']==1, 'event'] = 'origin'
df.ix[df['event']==-1, 'event'] = 'destination'

# Split the DataFrame, unstack each factor, then join
new_df = pd.DataFrame(
    df.groupby('id')['number of passengers'].value_counts()
).unstack(
    'number of passengers'
).fillna(0).join(
    df.set_index('id')[['city', 'date', 'event']].reset_index().set_index(
        ['id', 'date', 'event']
    ).unstack('event').reset_index(level='date', drop=True)
).reset_index()

# Flatten the column multiindex
new_df.columns = new_df.columns.droplevel()
new_df.columns = ['id', '[0, 2)', '[2, 5)', '[5, 7)', '> 7', 'destination', 'origin']

# If we don't do this, there will be separate rows for origins and destinations
new_df['origin'] = new_df['origin'].fillna(method='ffill')
new_df = new_df.dropna().set_index(['id', 'origin', 'destination'], drop=True)

new_df = new_df.reset_index()[['origin', 'destination', '[0, 2)', '[2, 5)', '[5, 7)', '> 7']].set_index(['origin', 'destination'])
new_df

为您提供以下内容：

                    [0, 2)  [2, 5)  [5, 7)  > 7
origin  destination             
AB      YU          2       2       0       1
        CB          2       2       0       1
        BA          2       2       0       1
        CY          2       2       0       1
YU      BA          0       0       2       0
CD      YU          2       0       0       1
        AB          2       0       0       1
        CC          0       0       0       2