数据行的快速笛卡儿和

Question

我在三个轴(x，y，z)中有两个错误数据：

df1 = pd.DataFrame([[0, 1, 2], [-1, 0, 1], [-2, 0, 3]], columns = ['x', 'y', 'z'])
df2 = pd.DataFrame([[1, 1, 3], [1, 0, 2], [1, 0, 3]], columns = ['x', 'y', 'z'])

我正在寻找一种快速的方法来找到两个数据序列的每一行的平方的笛卡儿和。

编辑我的当前解决方案：

cartesian_sum = list(np.sum(list(tup), axis = 0).tolist() 
                    for tup in itertools.product( (df1**2).to_numpy().tolist(),
                                                  (df2**2).to_numpy().tolist() ) )

cartesian_sum
>>> 
[[1, 2, 13],
 [1, 1, 8],
 [1, 1, 13],
 [2, 1, 10],
 [2, 0, 5],
 [2, 0, 10],
 [5, 1, 18],
 [5, 0, 13],
 [5, 0, 18]]

太慢(~ 2.4ms；与纯粹以Pandas为基础的解决方案相比，运行8-10 ms)。

这类似于related question (link here)，但是使用itertools太慢了。在Python中有更快的方法来实现这一点吗？

Answer 1

我认为您首先需要交叉连接，删除列a，平方，将列转换为MultiIndex和sum：

df = df1.assign(a=1).merge(df2.assign(a=1), on='a').drop('a', axis=1) ** 2
df.columns = df.columns.str.split('_', expand=True)
df = df.sum(level=0, axis=1)
print (df)
   x  y   z
0  1  2  13
1  1  1   8
2  1  1  13
3  2  1  10
4  2  0   5
5  2  0  10
6  5  1  18
7  5  0  13
8  5  0  18

详细信息：

print (df1.assign(a=1).merge(df2.assign(a=1), on='a'))
   x_x  y_x  z_x  a  x_y  y_y  z_y
0    0    1    2  1    1    1    3
1    0    1    2  1    1    0    2
2    0    1    2  1    1    0    3
3   -1    0    1  1    1    1    3
4   -1    0    1  1    1    0    2
5   -1    0    1  1    1    0    3
6   -2    0    3  1    1    1    3
7   -2    0    3  1    1    0    2
8   -2    0    3  1    1    0    3

提高绩效的一个想法是：

#https://stackoverflow.com/a/53699013/2901002
def cartesian_product_simplified_changed(left, right):
    la, lb = len(left), len(right)
    ia2, ib2 = np.broadcast_arrays(*np.ogrid[:la,:lb])

    a = np.column_stack([left.values[ia2.ravel()] ** 2, right.values[ib2.ravel()] ** 2])
    a = a[:, :la] + a[:, la:]
    return a


a = cartesian_product_simplified_changed(df1, df2)
print (a)
[[ 1  2 13]
 [ 1  1  8]
 [ 1  1 13]
 [ 2  1 10]
 [ 2  0  5]
 [ 2  0 10]
 [ 5  1 18]
 [ 5  0 13]
 [ 5  0 18]]