Pybind11:在C++函数中返回大型数组会显著增加python中的计算时间

Question

我编写了一个小的C++脚本，并使用pybind11使C++函数在python中可用。当从python调用时，C++函数大约需要4秒才能终止。C++函数返回一个长度为54.346.383的大型数组。出于好奇，我修改了C++函数，并返回了一个长度为7373的不同数组，但没有更改代码中的任何其他内容。现在，C++函数在1秒内终止。因此，据我所知，随着对象大小的增加，从C++到Python的对象传输将成为一个巨大的瓶颈。

有没有更聪明的方法来处理这个问题？也许可以使用指针？(我对C++和pybind11完全陌生)

#include <pybind11/pybind11.h>
#include <pybind11/numpy.h>
#include <pybind11/stl.h>
#include <vector>
#include <numeric>

namespace py = pybind11;

std::vector<double> isoCdf_seq(std::vector<double> array_w, std::vector<double> W, std::vector<double>  Y, std::vector<int>  posY, std::vector<double>  array_y) {

std::vector<double> CDF;
CDF.reserve(m * mY);

// some code

return CDF;

Answer 1

它正在构造一个Python的浮点数列表，这有很多开销。我建议在Python端使用NumPy数组，如下所示：returning numpy arrays via pybind11

这样，您只需分配一次数组内存，Python就可以将其作为NumPy数组进行引用，而无需分配5400万个微小对象和对它们的引用。