使用从Cython中的方法创建的PyCapsule的错误结果

Question

我们需要从Cython中的一个类的方法创建一个PyCapsule。我们成功地编写了一段代码，它编译甚至运行都没有错误，但是结果是错误的。

下面是一个简单的例子：class

胶囊由Pythran执行(需要在github https://github.com/serge-sans-paille/pythran上使用该版本)。

.pyx文件：

from cpython.pycapsule cimport PyCapsule_New


cdef int twice_func(int c):
    return 2*c


cdef class Twice:
    cdef public dict __pyx_capi__

    def __init__(self):
        self.__pyx_capi__ = self.get_capi()

    cpdef get_capi(self):
        return {
            'twice_func': PyCapsule_New(
                <void *>twice_func, 'int (int)', NULL),
            'twice_cpdef': PyCapsule_New(
                <void *>self.twice_cpdef, 'int (int)', NULL),
            'twice_cdef': PyCapsule_New(
                <void *>self.twice_cdef, 'int (int)', NULL),
            'twice_static': PyCapsule_New(
                <void *>self.twice_static, 'int (int)', NULL)}

    cpdef int twice_cpdef(self, int c):
        return 2*c

    cdef int twice_cdef(self, int c):
        return 2*c

    @staticmethod
    cdef int twice_static(int c):
        return 2*c

由pythran (call_capsule_pythran.py)编译的文件。

# pythran export call_capsule(int(int), int)

def call_capsule(capsule, n):
    r = capsule(n)
    return r

这是Pythran的一个新特性，所以我们需要github上的版本.

以及测试文件：

try:
    import faulthandler
    faulthandler.enable()
except ImportError:
    pass

import unittest

from twice import Twice
from call_capsule_pythran import call_capsule


class TestAll(unittest.TestCase):
    def setUp(self):
        self.obj = Twice()
        self.capi = self.obj.__pyx_capi__

    def test_pythran(self):
        value = 41
        print('\n')

        for name, capsule in self.capi.items():
            print('capsule', name)
            result = call_capsule(capsule, value)

            if name.startswith('twice'):
                if result != 2*value:
                    how = 'wrong'
                else:
                    how = 'good'

                print(how, f'result ({result})\n')


if __name__ == '__main__':
    unittest.main()

它是一辆马车，并提供：

capsule twice_func
good result (82)

capsule twice_cpdef
wrong result (4006664390)

capsule twice_cdef
wrong result (4006664390)

capsule twice_static
good result (82)

结果表明，该方法对于标准函数和静态函数都能很好的工作，但是方法上存在问题。

请注意，它适用于两个胶囊，这似乎表明问题不是来自Pythran。

编辑

在DavidW发表评论之后，我了解到我们必须在运行时(例如，在get_capi中)创建一个C函数，该函数的签名int(int)来自绑定方法twice_cdef，该方法的签名实际上是int(Twice, int)。

我不知道这是不是真的不可能用Cython..。

Answer 1

就我的意见采取后续行动/扩大我的意见：

基本的问题是Pythran期望一个带有签名int f(int)的C函数指针包含在PyCapsule中。但是，您的方法的签名是int(PyObject* self, int c)。2作为self被传递(没有造成灾难，因为它没有被实际使用.)并且使用一些任意的内存来代替int c。不幸的是，无法使用纯C代码创建带有“绑定参数”的C函数指针，因此Cython无法(而且实际上也无法)这样做。

修改1是通过创建一个接受正确类型并在其中进行转换的函数来更好地检查您要传递给PyCapsules的内容，而不是盲目地转换到<void*>。这并不能解决您的问题，但是在编译时警告您，当它无法工作时：

ctypedef int(*f_ptr_type)(int)

cdef make_PyCapsule(f_ptr_type f, string):
    return PyCapsule_New(
                <void *>f, string, NULL)

# then in get_capi:
'twice_func': make_PyCapsule(twice_func, b'int (int)'), # etc

实际上，可以使用ctypes (或cffi)从任意Python调用创建C函数--参见Using function pointers to methods of classes without the gil (答案的底部)。这增加了一个额外的Python调用层，所以并不是非常快，而且代码有点混乱。ctypes通过使用运行时代码生成(这不是可移植的或纯C语言中可以做的事情)动态构建一个函数，然后创建一个指向该函数的指针，就可以实现这一点。

尽管您在注释中声称您认为不能使用Python解释器，但我认为这不是真的-- Pythran生成Python扩展模块(因此非常绑定到Python解释器)，并且它似乎适用于下面所示的测试用例：

 _func_cache = []

cdef f_ptr_type py_to_fptr(f):
    import ctypes
    functype = ctypes.CFUNCTYPE(ctypes.c_int,ctypes.c_int)
    ctypes_f = functype(f)
    _func_cache.append(ctypes_f) # ensure references are kept
    return (<f_ptr_type*><size_t>ctypes.addressof(ctypes_f))[0]

# then in make_capi:
'twice_cpdef': make_PyCapsule(py_to_fptr(self.twice_cpdef), b'int (int)')

不幸的是，它只适用于cpdef，而不适用于cdef函数，因为它确实依赖于具有Python。可以使cdef函数与lambda一起工作(前提是您将get_capi改为def而不是cpdef)：

'twice_cdef': make_PyCapsule(py_to_fptr(lambda x: self.twice_cdef(x)), b'int (int)'),

这一切都有点混乱，但可以让它发挥作用。