Pybind11 ile çok iş parçacıklı bir C ++ programına bir Python yorumlayıcısını katıştırma

Question

Bir 3. parti C ++ kitaplığının Python yöntemini çağırması için pybind11 kullanmaya çalışıyorum . Kitaplık çok iş parçacıklıdır ve her iş parçacığı bir Python nesnesi oluşturur ve ardından nesnenin yöntemlerine çok sayıda çağrı yapar.

Benim sorunum, py::gil_scoped_acquire acquire;kilitlenme çağrısı . Sorunu yeniden üreten minimal bir kod aşağıda verilmiştir. Neyi yanlış yapıyorum?

// main.cpp
class Wrapper
{
public:
  Wrapper()
  {
    py::gil_scoped_acquire acquire;
    auto obj = py::module::import("main").attr("PythonClass")();
    _get_x = obj.attr("get_x");
    _set_x = obj.attr("set_x");
  }
  
  int get_x() 
  {
    py::gil_scoped_acquire acquire;
    return _get_x().cast<int>();
  }

  void set_x(int x)
  {
    py::gil_scoped_acquire acquire;
    _set_x(x);
  }

private:
  py::object _get_x;
  py::object _set_x;
};


void thread_func()
{
  Wrapper w;

  for (int i = 0; i < 10; i++)
  {
    w.set_x(i);
    std::cout << "thread: " << std::this_thread::get_id() << " w.get_x(): " << w.get_x() << std::endl;
    std::this_thread::sleep_for(100ms);    
  }
}

int main() {
  py::scoped_interpreter python;
  
  std::vector<std::thread> threads;

  for (int i = 0; i < 5; ++i)
    threads.push_back(std::thread(thread_func));

  for (auto& t : threads)
    t.join();

  return 0;
}

ve Python kodu:

// main.py
class PythonClass:
    def __init__(self):
        self._x = 0

    def get_x(self):
        return self._x

    def set_x(self, x):
        self._x = x

İlgili sorular burada ve burada bulunabilir , ancak sorunu çözmeme yardımcı olmadı.

Answer 1

İşçi iş parçacıklarını başlatmadan (eklendi py::gil_scoped_release release;) önce GIL'i ana iş parçacığında serbest bırakarak sorunu çözmeyi başardım . İlgilenen herkes için, şimdi aşağıdakiler işe yarıyor (Python nesnelerinin temizlenmesi de eklendi):

#include <pybind11/embed.h>  
#include <iostream>
#include <thread>
#include <chrono>
#include <sstream>

namespace py = pybind11;
using namespace std::chrono_literals;

class Wrapper
{
public:
  Wrapper()
  {
    py::gil_scoped_acquire acquire;
    _obj = py::module::import("main").attr("PythonClass")();
    _get_x = _obj.attr("get_x");
    _set_x = _obj.attr("set_x");

  }
  
  ~Wrapper()
  {
    _get_x.release();
    _set_x.release();
  }

  int get_x() 
  {
    py::gil_scoped_acquire acquire;
    return _get_x().cast<int>();
  }

  void set_x(int x)
  {
    py::gil_scoped_acquire acquire;
    _set_x(x);
  }

private:
  py::object _obj;
  py::object _get_x;
  py::object _set_x;
};


void thread_func(int iteration)
{
  Wrapper w;

  for (int i = 0; i < 10; i++)
  {
    w.set_x(i);
    std::stringstream msg;
    msg << "iteration: " << iteration << " thread: " << std::this_thread::get_id() << " w.get_x(): " << w.get_x() << std::endl;
    std::cout << msg.str();
    std::this_thread::sleep_for(100ms);    
  }
}

int main() {
  py::scoped_interpreter python;
  py::gil_scoped_release release; // add this to release the GIL

  std::vector<std::thread> threads;
  
  for (int i = 0; i < 5; ++i)
    threads.push_back(std::thread(thread_func, 1));

  for (auto& t : threads)
    t.join();

  return 0;
}

Answer 2

Python'da Global Yorumlayıcı Kilidi olduğu bilinmektedir .

Yani temelde kendi Python yorumlayıcınızı sıfırdan yazmanız veya Python'un kaynak kodunu indirmeniz ve onu çok geliştirmeniz gerekiyor.

Linux'taysanız, birçok Python yorumlayıcısı çalıştırmayı düşünebilirsiniz ( işlemler arası iletişim için boru (7) veya unix (7) ile uygun sistem çağrılarını (2) kullanarak ) - belki de C ++ iş parçacıklarınızın her biri ile iletişim kuran bir Python işlemi.

Neyi yanlış yapıyorum?

Python'da başka türlü kodlanması gereken bir şeyi kodlamak. SBCL'yi denemeyi düşündünüz mü ?

Bazı kitaplıklar (örn. Tensorflow ) hem Python hem de C ++ 'dan çağrılabilir. Belki onlardan ilham alabilirsiniz ...

Pratikte, güçlü bir Linux makinesinde sadece bir düzine C ++ iş parçacığına sahipseniz, C ++ iş parçacığı başına bir Python işlemine sahip olabilirsiniz . Yani her C ++ iş parçacığının kendine ait bir Python süreci olacaktır.

Aksi takdirde, GIL'sini kaldırmak için Python'un kaynak kodunu iyileştirmek için birkaç yıllık bir bütçe ayırın. Python'un C kodunu analiz etmek ve anlamak için bu görevde size yardımcı olması için GCC eklentinizi kodlayabilirsiniz.