Встраивание интерпретатора Python в многопоточную программу на C ++ с помощью pybind11
Я пытаюсь использовать pybind11 , чтобы сторонняя библиотека C ++ вызывала метод Python. Библиотека многопоточная, и каждый поток создает объект Python, а затем выполняет многочисленные вызовы методов объекта.
Моя проблема в том, что вызов py::gil_scoped_acquire acquire;
тупиковой ситуации. Ниже приведен минимальный код, воспроизводящий проблему. Что я делаю неправильно?
// main.cpp
class Wrapper
{
public:
Wrapper()
{
py::gil_scoped_acquire acquire;
auto obj = py::module::import("main").attr("PythonClass")();
_get_x = obj.attr("get_x");
_set_x = obj.attr("set_x");
}
int get_x()
{
py::gil_scoped_acquire acquire;
return _get_x().cast<int>();
}
void set_x(int x)
{
py::gil_scoped_acquire acquire;
_set_x(x);
}
private:
py::object _get_x;
py::object _set_x;
};
void thread_func()
{
Wrapper w;
for (int i = 0; i < 10; i++)
{
w.set_x(i);
std::cout << "thread: " << std::this_thread::get_id() << " w.get_x(): " << w.get_x() << std::endl;
std::this_thread::sleep_for(100ms);
}
}
int main() {
py::scoped_interpreter python;
std::vector<std::thread> threads;
for (int i = 0; i < 5; ++i)
threads.push_back(std::thread(thread_func));
for (auto& t : threads)
t.join();
return 0;
}
и код Python:
// main.py
class PythonClass:
def __init__(self):
self._x = 0
def get_x(self):
return self._x
def set_x(self, x):
self._x = x
Связанные вопросы можно найти здесь и здесь , но это не помогло мне решить проблему.
Ответы
Мне удалось решить проблему, выпуская GIL в основном потоке перед запуском рабочих потоков (добавлено py::gil_scoped_release release;
). Для всех, кто заинтересован, теперь работает следующее (также добавлена очистка объектов Python):
#include <pybind11/embed.h>
#include <iostream>
#include <thread>
#include <chrono>
#include <sstream>
namespace py = pybind11;
using namespace std::chrono_literals;
class Wrapper
{
public:
Wrapper()
{
py::gil_scoped_acquire acquire;
_obj = py::module::import("main").attr("PythonClass")();
_get_x = _obj.attr("get_x");
_set_x = _obj.attr("set_x");
}
~Wrapper()
{
_get_x.release();
_set_x.release();
}
int get_x()
{
py::gil_scoped_acquire acquire;
return _get_x().cast<int>();
}
void set_x(int x)
{
py::gil_scoped_acquire acquire;
_set_x(x);
}
private:
py::object _obj;
py::object _get_x;
py::object _set_x;
};
void thread_func(int iteration)
{
Wrapper w;
for (int i = 0; i < 10; i++)
{
w.set_x(i);
std::stringstream msg;
msg << "iteration: " << iteration << " thread: " << std::this_thread::get_id() << " w.get_x(): " << w.get_x() << std::endl;
std::cout << msg.str();
std::this_thread::sleep_for(100ms);
}
}
int main() {
py::scoped_interpreter python;
py::gil_scoped_release release; // add this to release the GIL
std::vector<std::thread> threads;
for (int i = 0; i < 5; ++i)
threads.push_back(std::thread(thread_func, 1));
for (auto& t : threads)
t.join();
return 0;
}
Известно, что Python имеет глобальную блокировку интерпретатора .
Таким образом, вам в основном нужно написать свой собственный интерпретатор Python с нуля или загрузить исходный код Python и значительно его улучшить.
Если вы работаете в Linux, вы можете рассмотреть возможность запуска множества интерпретаторов Python (с использованием соответствующих системных вызовов (2) , с pipe (7) или unix (7) для межпроцессного взаимодействия ) - возможно, один процесс Python, взаимодействующий с каждым из ваших потоков C ++.
Что я делаю неправильно?
Кодирование на Python чего-то, что в противном случае следовало бы кодировать. Вы подумывали о том, чтобы попробовать SBCL ?
Некоторые библиотеки (например, Tensorflow ) можно вызывать как из Python, так и из C ++. Может быть, вы могли бы почерпнуть у них вдохновение ...
На практике, если у вас есть всего дюжина потоков C ++ на мощной машине Linux, вы можете позволить себе иметь один процесс Python на поток C ++. Таким образом, каждый поток C ++ будет иметь собственный сопутствующий процесс Python.
В противном случае выделите несколько лет работы над улучшением исходного кода Python и удалением его GIL. Вы можете закодировать свой плагин GCC, чтобы помочь вам в этой задаче - анализе и понимании кода C Python.