Python Executor - przekazywanie funkcji z argumentem jako argumentem

Aug 26 2020

Moim celem jest stworzenie funkcji, której będę mógł użyć do pomiaru wykonania i wykorzystania zasobów innej funkcji. Korzystając z samouczka, utworzyłem poniższy kod przy użyciu ThreadPoolExecutor w Pythonie:

from resource import *
from time import sleep
from concurrent.futures import ThreadPoolExecutor

class MemoryMonitor:
    def __init__(self):
        self.keep_measuring = True

    def measure_usage(self):
        max_usage = 0
        u_run_time = 0
        s_run_time = 0
        while self.keep_measuring:
            max_usage = max(max_usage, getrusage(RUSAGE_SELF).ru_maxrss)
            u_run_time = max(u_run_time, getrusage(RUSAGE_SELF).ru_utime) 
            s_run_time = max(s_run_time, getrusage(RUSAGE_SELF).ru_stime) 
        sleep(0.1) # run this loop every 0.1 seconds
        return [max_usage, u_run_time, s_run_time]

def execute(function):
    with ThreadPoolExecutor() as executor:
        monitor = MemoryMonitor()
        stats_thread = executor.submit(monitor.measure_usage)
        try:
            fn_thread = executor.submit(function)
            result = fn_thread.result()
            print("print result")
            print(result)
            print("print result type")
            print(type(result))
        finally:
            monitor.keep_measuring = False
            stats = stats_thread.result()
        print(stats)
        return result

def foo():
    i = 0
    while i < 3:
        print("foo")
        i+=1
    return 1

def bar(x):
    while x < 3:
        print("foobar")
        x+=1
    return 1

var = execute(foo)
print("Var = " + str(var))
var = execute(bar(0))
print("Var = " + str(var))

Jeśli przekażę funkcję foo jako argument do funkcji execute , drukuje ona poprawne wyniki i zwraca wartość zwróconą przez foo.

Jeśli przekażę pasek funkcji w ten sam sposób, ale sam bar wymaga argumentu, funkcja działa (wypisuje 3 razy), a następnie pojawia się następujący błąd:

result = self.fn(*self.args, **self.kwargs)
TypeError: 'int' object is not callable

Po kilku testach część, w której utknąłem, wydaje się przekazywać funkcję jako argument, jeśli sama funkcja wymaga argumentu. Jak rozumiem ThreadPoolExecutor, obiekt fn_thread hermetyzuje wykonanie przesłanej funkcji. Obiekt wynikowy powinien po prostu przechowywać wynik tego wykonania - czego mi brakuje, że to nie może obsłużyć przekazywania funkcji z argumentem?

Odpowiedzi

3 AleksJ Aug 26 2020 at 15:08

Przesyłasz

bar(0) 

zamiast

bar, 0

Dla jasności spójrz na podpis przesyłającego: submit (fn, * args, ** kwargs)

wynik

bar(0)

jest liczbą całkowitą, a moduł wykonawczy nie może wywołać liczby całkowitej, ponieważ nie jest ona „wywoływalna”, jak sugeruje komunikat o błędzie.