Cython callback segfaults с использованием вызовов python-c-api

Question

Работая над управлением камерой eGige, имея библиотеку C, я начал код cythonproject с идеей иметь лучшие вещи на каждом языке.

Библиотека предоставляет возможность прослушивать пульс от камеры, чтобы узнать, отключена ли она. Обратный вызов с классом C++, который я уже сделал, но из этого класса C++ вызывает метод python класса, попадает в ошибку Сегментации всеми способами, которые я пробовал.

Я инкапсулированный его в определенном классе C++:

#include <Python.h> 
/* (...) */ 
PyCallback::PyCallback(PyObject* self, const char* methodName) 
{ 
    Py_XINCREF(self); 
    _self = self; 
    _method = PyObject_GetAttrString(self, methodName); 
} 
PyCallback::~PyCallback() 
{ 
    Py_XDECREF(_self); 
} 
void PyCallback::execute() 
{ 
    try 
    { 
    PyObject *args = PyTuple_Pack(1,_self); 
    PyObject_CallFunctionObjArgs(_method, args); 
    }catch(...){ 
    _error("Exception calling python"); 
    } 
} 

Из а Cython объекта кода является:

cdef class Camera(...): 
    # (...) 
    cdef registerRemovalCallback(self): 
     cdef: 
      PyCallback* obj 
     obj = new PyCallback(<PyObject*> self, <char*> "cameraRemovalCallback") 
    cdef cameraRemovalCallback(self): 
     self._isPresent = False 

Самой низкой часть трассировки это просто, когда пытаешься подготовить аргументы.

#0 0x00007ffff7b24592 in PyErr_Restore() from /usr/lib64/libpython2.6.so.1.0 
#1 0x00007ffff7b23fef in PyErr_SetString() from /usr/lib64/libpython2.6.so.1.0 
#2 0x00007ffff7b314dd in ??() from /usr/lib64/libpython2.6.so.1.0 
#3 0x00007ffff7b313ca in ??() from /usr/lib64/libpython2.6.so.1.0 
#4 0x00007ffff7b316c1 in ??() from /usr/lib64/libpython2.6.so.1.0 
#5 0x00007ffff7b31d2f in ??() from /usr/lib64/libpython2.6.so.1.0 
#6 0x00007ffff7b31e9c in Py_BuildValue() from /usr/lib64/libpython2.6.so.1.0 
#7 0x00007ffff637cbf8 in PyCallback::execute (this=0x16212a0) at pylon/PyCallback.cpp:53 
#8 0x00007ffff6376248 in CppCamera::removalCallback (this=0x161fb30, pDevice=<value optimized out>) at pylon/Camera.cpp:387 

Я пытался сделать аргументы, используя _Py_BuildValue ("(само)", самостоятельно);, но тогда у меня есть segfault.

Я пробовал также с PyObject_CallFunctionObjArgs с NULL в поле аргументов, полагая, что, возможно, указатель на «собственную» уже вложен в качестве точки методы к конкретному адресу с в этом объекте. Но у них у меня есть segfault.

Неужели кто-нибудь видит мою ошибку? Что-то там должно быть сделано по-другому? Надеюсь, это недоразумение со стороны меня о том, кто это сделает.

Update @2016/08/01:

После комментариев показаний, две модификации сделаны в коде:

Прежде всего хранения указателей на PyCallback хранился в качестве члена камеры класса Cython:

cdef class Camera(...): 
    cdef: 
     #(...) 
     PyCallback* _cbObj 
    # (...) 
    cdef registerRemovalCallback(self): 
     self._cbObj = new PyCallback(<PyObject*> self, <char*> "cameraRemovalCallback") 
    cdef cameraRemovalCallback(self): 
     self._isPresent = False 

Даже это фундаментальный источник segfaults похоже, что он не был задействован в текущем.

Затем PyCallback :: execute() в C++, я внесла некоторые изменения. После прочтения о GIL (Global Interpreter Lock) и добавить несколько вызовов для этого, я добавил чек, который может направлять к решению:

PyCallback::PyCallback(PyObject* self, const char* methodName) 
{ 
    Py_Initialize(); 
    Py_XINCREF(self); 
    _self = self; 
    _method = PyObject_GetAttrString(self, methodName); 
} 

PyCallback::~PyCallback() 
{ 
    Py_XDECREF(_self); 
    Py_Finalize(); 
} 

void PyCallback::execute() 
{ 
    PyGILState_STATE gstate; 

    gstate = PyGILState_Ensure(); 
    try 
    { 
    if (PyCallable_Check(_method)) 
    { 
     _info("Build arguments and call method"); 
     PyObject *args = Py_BuildValue("(O)", _self); 
     PyObject *kwargs = Py_BuildValue("{}", "", NULL); 
     PyObject_Call(_method, args, kwargs); 
    } 
    else 
    { 
     _warning("The given method is not callable!"); 
    } 
    } 
    catch(...) 
    { 
    // TODO: collect and show more information about the exception 
    _error("Exception calling python"); 
    } 
    PyGILState_Release(gstate); 
} 

Даже я не уверен, как сделать вызов , главное, что _PyCallable_Check_ возвращает false.

Я также протестировал использовать ЬурейиЕ вариант и C указателя на функцию, чтобы вызвать ее с тем же результата выдаст ошибки сегментации.

Update @2016/08/03:

Я проследовать с предложенными изменениями. cameraRemovalCallback теперь изменен с cdef на def и некоторые if s в PyCallback сообщает, что метод теперь найден. Также был добавлен к ~PyCallback() вызов Py_XDECREF(_method) в том случае, если он был найден в конструкторе. Также был удален бесполезный try-catch.

От ссылки на Python's Object protocol, что DavidW упоминание, я проверил многие из комбинаций *Call*: падая на segfault.

Я думаю, этот вопрос становится грязный и становится появление форума (вопрос-> ответа-> повторе -> ...). Я сожалею об этом, и я постараюсь, в следующий раз, когда я напишу, скажу, что segfault решался, и что было.

Answer 1

я не обещаю, что это единственный вопрос, но это, конечно, вопрос:

cameraRemovalCallback является cdef функция. Это означает, что функция доступна исключительно из C/Cython, но недоступна из Python. Это означает, что PyObject_GetAttrString не работает (поскольку cameraRemovalCallback не является атрибутом Python).

Вы должны определить cameraRemovalCallback с def вместо cdef, и это было бы доступно через обычные механизмы Python. Вы также должны проверить результат PyObject_GetAttrString - если он возвращает NULL, то он не смог найти этот атрибут.

Поэтому вы пытаетесь вызвать NULL в качестве функции Python.

---

Другие мелкие вопросы:

Вы должны decref _method в ~PyCallback.

Вы должны не позвонить по телефону Py_Initialize и Py_Finalize. Кажется, вы создаете класс из Python так, чтобы он не нуждался в инициализации или завершении. Финализация определенно вызовет у вас проблемы.

Я не думаю, что вам необходимо передать self в качестве аргумента для PyObject_Call. (Возможно, я ошибаюсь)

Python C api не будет поднимать исключения C++, поэтому ваш try{} catch(...) никогда ничего не поймает. Вместо этого проверьте возвращаемые значения.

Вам необходимо уменьшить результаты обоих вызовов Py_BuildValue (когда вы закончите с ними) также результат PyObject_Call. Если вы этого не сделаете, вы пропустите память.

---

Следующий полный пример работает для меня (с Python 3.5 - я не могу легко протестировать его с более ранними версиями). Если это работает для вас, вам, вероятно, нужно определить, что в вашем случае отличается? Если это не сработает для вас, то это более загадочно.

pycallback.hpp:

#include <Python.h> 
#include <stdexcept> 

inline PyObject* getCallable(PyObject* o, const char* methodName) { 
    // assume o is not null 
    PyObject* callable = PyObject_GetAttrString(o,methodName); 
    if (callable == nullptr) { 
     throw std::runtime_error("Attribute does not exist"); 
    } 
    return callable; 
} 

class PyCallback { 
private: 
    PyObject* _callable; 

public: 
    PyCallback(PyObject* callable) { 
     // assume callable isn't null 
     if (!PyCallable_Check(callable)) { 
      throw std::runtime_error("object passed to PyCallback is not callable"); 
     } 
     _callable = callable; 
     Py_XINCREF(_callable); 
    } 

    PyCallback(PyObject* o, const char* methodName) : 
    PyCallback(getCallable(o,methodName)) { // needs C++11 to compile 
    } 

    // don't define copy operators 
    PyCallback(const PyCallback&) = delete; 
    PyCallback& operator=(const PyCallback&) = delete; 

    ~PyCallback() { 
     Py_XDECREF(_callable); 
    } 

    void execute() { 
     PyGILState_STATE gstate; 
     gstate = PyGILState_Ensure(); 

     PyObject* result = PyObject_CallFunctionObjArgs(_callable,nullptr); 

     Py_XDECREF(result); // allowed to be null 
     PyGILState_Release(gstate); 
    } 
}; 

camera.pyx

cdef extern from "pycallback.hpp": 
    cdef cppclass PyCallback: 
     PyCallback(object) except + 
     PyCallback(object, const char*) except + 
     void execute() 

cdef class Camera: 
    cdef PyCallback* o 
    cdef public ispresent 

    def __init__(self): 
     self.o = NULL 
     self.ispresent = True 

    def registerRemovalCallback(self): 
     self.o = new PyCallback(self,'cameraRemovalCallback') 
     #self.o = new PyCallback(self.cameraRemovalCallback) 

    def cameraRemovalCallback(self): 
     self.ispresent = False 

    def triggerCallback(self): 
     if self.o != NULL: 
      self.o.execute() 

setup.py

from distutils.core import setup 
from distutils.extension import Extension 
from Cython.Distutils import build_ext 

setup(
    ext_modules = [ 
     Extension('camera',sources=["camera.pyx"], 
      language="c++", 
      extra_compile_args=['-std=c++11'])], 
    cmdclass={'build_ext': build_ext}) 

test.py

import camera 

c = camera.Camera() 
print(c.ispresent) 
c.triggerCallback() 
print(c.ispresent) 
c.registerRemovalCallback() 
print(c.ispresent) 
c.triggerCallback() 
print(c.ispresent) 

Примечание - с этим связана небольшая проблема. Camera и обратный вызов, который он выполняет, образуют цикл ссылок, поэтому они никогда не освобождаются. Это вызывает небольшую утечку памяти, но это не приведет к сбою сегментации.