在熊猫数据帧(和)列表中使用pdist

Question

我又遇到了一个奇怪的问题。

假设我有以下虚拟数据框架(通过演示我的问题)：

import numpy as np
import pandas as pd
import string

# Test data frame
N = 3
col_ids = string.letters[:N]
df = pd.DataFrame(
    np.random.randn(5, 3*N), 
    columns=['{}_{}'.format(letter, coord) for letter in col_ids for coord in list('xyz')])

df

这就产生了：

     A_x         A_y         A_z         B_x         B_y         B_z         C_x         C_y         C_z
0   -1.339040    0.185817    0.083120    0.498545   -0.569518    0.580264    0.453234    1.336992   -0.346724
1   -0.938575    0.367866    1.084475    1.497117    0.349927   -0.726140   -0.870142   -0.371153   -0.881763
2   -0.346819   -1.689058   -0.475032   -0.625383   -0.890025    0.929955    0.683413    0.819212    0.102625
3    0.359540   -0.125700   -0.900680   -0.403000    2.655242   -0.607996    1.117012   -0.905600    0.671239
4    1.624630   -1.036742    0.538341   -0.682000    0.542178   -0.001380   -1.126426    0.756532   -0.701805

现在我想在这个熊猫数据框架上使用scipy.spatial.distance.pdist。事实证明，这是一个相当重要的过程。pdist所做的是使用欧氏距离(2-范数)作为点之间的距离度量来计算m点之间的距离。在矩阵X (来源)中，点被排列成m维行向量.

因此，要创建一个在熊猫数据框架上运行的函数，需要做几件事，这样就可以使用pdist函数。您将注意到，当点数变得非常大时，pdist是方便的。我已经尝试了自己的方法，它适用于单行数据帧，但我不能让它同时在整个数据帧上工作，理想情况下是这样。

以下是我的尝试：

from scipy.spatial.distance import pdist, squareform
import numpy as np
import pandas as pd
import string

def Euclidean_distance(df):
    EcDist = pd.DataFrame(index=df.index) # results container
    arr = df.values # Store data frame values into a numpy array
    tag_list =  [num for elem in arr for num in elem] # flatten numpy array into single list
    tag_list_3D = zip(*[iter(tag_list)]*3) # separate list into length = 3 sub-lists, that pdist() can work with
    EcDist = pdist(tag_list_3D) # the distance between m points using Euclidean distance (2-norm)
    return EcDist

首先，我开始创建一个熊猫形式的结果容器，以存储结果。其次，我将熊猫数据帧保存为一个numpy数组，以便在下一步将它变成列表形式。它必须是列表形式，因为pdist函数只对列表进行操作。当将数据帧保存到数组中时，它会将其存储为列表中的列表。这必须是扁平的，它保存在'tag_list‘变量中。第三，将tag_list进一步简化为长度为3的子列表，这样就可以得到每个点的x、y和z坐标，这可以用来求出所有这些点之间的欧几里德距离(在本例中有三个点: A、B和C分别是三维的)。

如前所述，如果数据帧是一行，则函数可以工作，但是当在给定的示例中使用该函数时，它计算出5x3点的欧几里德距离，总共得到105个距离。我想要做的是计算每一行的距离(所以pdist应该一次只在1x3向量上工作)。对于这个例子，我的最终结果如下所示：

   dist_1    dist_2    dist_3
0  0.807271  0.142495  1.759969
1  0.180112  0.641855  0.257957
2  0.196950  1.334812  0.638719
3  0.145780  0.384268  0.577387
4  0.044030  0.735428  0.549897

(这些只是表示所需形状的虚拟数字)

因此，如何使我的函数以逐行的方式应用于数据帧？或者更好的是，如何让它一次对整个数据帧执行函数，然后将结果存储在一个新的数据框架中？

任何帮助都将不胜感激。谢谢。

Answer 1

如果我理解正确的话，你就有“分组”的观点。在您的示例中，每个组有三个点，您称之为A、B和C。A由三列A_x、A_y、A_z以及B和C表示。

我建议您将“宽窗体”数据重构为“长”表单，其中每一行只包含一个点。然后，每一行将只有三列作为坐标，然后添加一个额外的列来表示某个点所在的组。下面是一个例子：

>>> d = pandas.DataFrame(np.random.randn(12, 3), columns=["X", "Y", "Z"])
>>> d["Group"] = np.repeat([1, 2, 3, 4], 3)
>>> d
           X         Y         Z  Group
0  -0.280505  0.888417 -0.936790      1
1   0.823741 -0.428267  1.483763      1
2  -0.465326  0.005103 -1.107431      1
3  -1.009077 -1.618600 -0.443975      2
4   0.535634  0.562617  1.165269      2
5   1.544621 -0.858873 -0.349492      2
6   0.839795  0.720828 -0.973234      3
7  -2.273654  0.125304  0.469443      3
8  -0.179703  0.962098 -0.179542      3
9  -0.390777 -0.715896 -0.897837      4
10 -0.030338  0.746647  0.250173      4
11 -1.886581  0.643817 -2.658379      4

Group==1的三点对应于第一行的A、B和C；Group==2的三点对应于第二行的A、B和C；等等。

使用这种结构，使用pdist按组计算成对的距离变得非常简单：

>>> d.groupby('Group')[["X", "Y", "Z"]].apply(lambda g: pandas.Series(distance.pdist(g), index=["D1", "D2", "D3"]))
             D1        D2        D3
Group                              
1      2.968517  0.918435  2.926395
2      3.119856  2.665986  2.309370
3      3.482747  1.314357  2.346495
4      1.893904  2.680627  3.451939

使用现有的设置也可以做类似的事情，但这将更加尴尬。设置它的方式的问题在于，您已经以一种难以提取的方式对关键信息进行编码。在您的设置中，关于哪些列是X坐标、哪些列是Y或Z坐标的信息，以及关于哪些列引用点A和B或C的信息，都是用列的文本名称编码的。作为一个人，您可以通过查看哪些列是X值，但通过编程方式指定哪些列需要解析列的字符串名称。

您可以在如何使用'{}_{}'.format(letter, coord)业务创建列名中看到这一点。这意味着，为了在数据上使用pdist，您必须执行将列名解析为字符串的反向操作，以决定要比较哪些列。不用说，这会很尴尬。另一方面，如果将数据放入“长”形式，则没有这样的困难:所有点的X坐标排列在一列中，对于Y和Z也是如此，关于要比较哪些点的信息也包含在一列( "Group“列)中。

当您想要对数据子集进行大规模操作时，通常最好将事物分割成单独的行。这允许您利用groupby的强大功能，而且通常也是枕工具所期望的。