熊猫数据-具有相同ids的数据增量

Question

我有一个像这样的数据文件：

  type  unique_id  val
0    X          1   11
1    X          2   12
2    Y          1   20
3    Y          2   30

所需的输出是

  type  unique_id  val delta
0    X          1   11 9
1    X          2   12 18
2    Y          1   20 0
3    Y          2   30 0

也就是说，我想将每个X与具有相同unique_id的Y匹配( id在Xs中是唯一的，在Ys中是单独唯一的)。然后，我要计算每个X及其各自的Y行的X差值。对于Ys，这个值可以是0。

Answer 1

假设unique_id实际上对给定类型是唯一的，则可以根据为Y类型筛选的数据对其进行分组。

gb = df[df.type == 'Y'].groupby('unique_id').first()
>>> gb
          type  val
unique_id          
1            Y   20
2            Y   30

然后将其加入到原始的dataframe中：

df = (df.set_index('unique_id')
        .join(gb, rsuffix='_'))
>>> df
          type  val type_  val_
unique_id                      
1            X   11     Y    20
1            Y   20     Y    20
2            X   12     Y    30
2            Y   30     Y    30

现在您可以计算您的增量：

df['delta'] = df.val_ - df.val

最后，将数据重塑为您想要的形式：

df = (df.reset_index()
        .sort('type')
        .drop(['val_', 'type_'], axis='columns')

# Reorder columns.
>>> df[['type', 'unique_id', 'val', 'delta']]
  type  unique_id  val  delta
0    X          1   11      9
2    X          2   12     18
1    Y          1   20      0
3    Y          2   30      0