相关系数函数从NumPy到Dask的转换

Question

我试图通过将一个方法从thunder (使用Spark)转换为等效的numpy版本来评估dask，但我不确定如何使用dask/distributed来编写。

在take中，我可以获取一堆图像，将其转换为序列，并与一些信号进行关联：

imgs = thunder.images.fromrandom((10, 900, 900))
series = imgs.toseries()
signal = series[5, 5, :]
correlated = series.correlate(signal)

numpy版本如下所示：

series = numpy.random.rand(900, 900, 10)
signal = series[5, 5, :]

reshaped = series.reshape(900 * 900, 10)

correlated = numpy.asarray(
    map(lambda x: numpy.corrcoef(x, signal)[0, 1], reshaped))
)
final = correlated.reshape(900, 900)

我正在寻找一些关于如何将其转换为分布式的东西的技巧。

Answer 1

也许是像下面这样的东西？

import dask.array as da
import numpy as np

imgs = da.random.random((10, 900, 900), chunks=(1, 900, 900))
reshaped = imgs.reshape((10, 900 * 900))

如果你想把你的图像相互关联起来

result = da.corrcoef(reshaped)
result.compute()

或与其他信号对抗

signal = np.random.random(900 * 900)
result = reshaped.map_blocks(np.corrcoef, signal, dtype=signal.dtype)
result.compute()

但是，我不太熟悉您的应用程序，因此上面的响应可能是有缺陷的。