TensorFlowを使用した最急降下法は、基本的なPython実装よりもはるかに遅いのはなぜですか？
機械学習コースを受講しています。TensorFlowに慣れるのに役立つ単純な線形回帰（LR）の問題があります。LRの問題は、パラメータ見つけることですaとb、このようなY = a*X + b近似(x, y)（私は簡単のために自分自身を生成した）点群を。
「固定ステップサイズ勾配降下法（FSSGD）」を使用してこのLR問題を解決しています。TensorFlowを使用して実装しましたが、機能しますが、GPUとCPUの両方で非常に遅いことに気付きました。興味があったので、Python / NumPyでFSSGDを自分で実装しました。予想どおり、これははるかに高速に実行されます。
- TF @CPUの10倍高速
- TF @GPUより20倍高速
TensorFlowがこれほど遅い場合、これほど多くの人がこのフレームワークを使用しているとは想像できません。だから私は何か間違ったことをしているに違いない。TensorFlowの実装をスピードアップできるように、誰かが私を助けてくれますか？
CPUとGPUのパフォーマンスの違いには興味がありません。両方のパフォーマンス指標は、完全性と説明のために提供されているにすぎません。 TensorFlowの実装が生のPython / NumPyの実装よりもはるかに遅い理由に興味があります。
参考までに、以下にコードを追加します。
- 最小限の（しかし完全に機能する）例にストリップしました。
- を使用し
Python v3.7.9 x64ます。 tensorflow-gpu==1.15今のところ使用されています（コースはTensorFlow v1を使用しているため）- SpyderとPyCharmの両方で実行することがテストされています。
TensorFlowを使用したFSSGDの実装（実行時間は約40秒@CPUから80秒@GPU）：
#%% General imports
import numpy as np
import timeit
import tensorflow.compat.v1 as tf
#%% Get input data
# Generate simulated input data
x_data_input = np.arange(100, step=0.1)
y_data_input = x_data_input + 20 * np.sin(x_data_input/10) + 15
#%% Define tensorflow model
# Define data size
n_samples = x_data_input.shape[0]
# Tensorflow is finicky about shapes, so resize
x_data = np.reshape(x_data_input, (n_samples, 1))
y_data = np.reshape(y_data_input, (n_samples, 1))
# Define placeholders for input
X = tf.placeholder(tf.float32, shape=(n_samples, 1), name="tf_x_data")
Y = tf.placeholder(tf.float32, shape=(n_samples, 1), name="tf_y_data")
# Define variables to be learned
with tf.variable_scope("linear-regression", reuse=tf.AUTO_REUSE): #reuse= True | False | tf.AUTO_REUSE
W = tf.get_variable("weights", (1, 1), initializer=tf.constant_initializer(0.0))
b = tf.get_variable("bias", (1,), initializer=tf.constant_initializer(0.0))
# Define loss function
Y_pred = tf.matmul(X, W) + b
loss = tf.reduce_sum((Y - Y_pred) ** 2 / n_samples) # Quadratic loss function
# %% Solve tensorflow model
#Define algorithm parameters
total_iterations = 1e5 # Defines total training iterations
#Construct TensorFlow optimizer
with tf.variable_scope("linear-regression", reuse=tf.AUTO_REUSE): #reuse= True | False | tf.AUTO_REUSE
opt = tf.train.GradientDescentOptimizer(learning_rate = 1e-4)
opt_operation = opt.minimize(loss, name="GDO")
#To measure execution time
time_start = timeit.default_timer()
with tf.Session() as sess:
#Initialize variables
sess.run(tf.global_variables_initializer())
#Train variables
for index in range(int(total_iterations)):
_, loss_val_tmp = sess.run([opt_operation, loss], feed_dict={X: x_data, Y: y_data})
#Get final values of variables
W_val, b_val, loss_val = sess.run([W, b, loss], feed_dict={X: x_data, Y: y_data})
#Print execution time
time_end = timeit.default_timer()
print('')
print("Time to execute code: {0:0.9f} sec.".format(time_end - time_start))
print('')
# %% Print results
print('')
print('Iteration = {0:0.3f}'.format(total_iterations))
print('W_val = {0:0.3f}'.format(W_val[0,0]))
print('b_val = {0:0.3f}'.format(b_val[0]))
print('')
私自身のPythonFSSGD実装（実行時間は約4秒）：
#%% General imports
import numpy as np
import timeit
#%% Get input data
# Define input data
x_data_input = np.arange(100, step=0.1)
y_data_input = x_data_input + 20 * np.sin(x_data_input/10) + 15
#%% Define Gradient Descent (GD) model
# Define data size
n_samples = x_data_input.shape[0]
#Initialize data
W = 0.0 # Initial condition
b = 0.0 # Initial condition
# Compute initial loss
y_gd_approx = W*x_data_input+b
loss = np.sum((y_data_input - y_gd_approx)**2)/n_samples # Quadratic loss function
#%% Execute Gradient Descent algorithm
#Define algorithm parameters
total_iterations = 1e5 # Defines total training iterations
GD_stepsize = 1e-4 # Gradient Descent fixed step size
#To measure execution time
time_start = timeit.default_timer()
for index in range(int(total_iterations)):
#Compute gradient (derived manually for the quadratic cost function)
loss_gradient_W = 2.0/n_samples*np.sum(-x_data_input*(y_data_input - y_gd_approx))
loss_gradient_b = 2.0/n_samples*np.sum(-1*(y_data_input - y_gd_approx))
#Update trainable variables using fixed step size gradient descent
W = W - GD_stepsize * loss_gradient_W
b = b - GD_stepsize * loss_gradient_b
#Compute loss
y_gd_approx = W*x_data_input+b
loss = np.sum((y_data_input - y_gd_approx)**2)/x_data_input.shape[0]
#Print execution time
time_end = timeit.default_timer()
print('')
print("Time to execute code: {0:0.9f} sec.".format(time_end - time_start))
print('')
# %% Print results
print('')
print('Iteration = {0:0.3f}'.format(total_iterations))
print('W_val = {0:0.3f}'.format(W))
print('b_val = {0:0.3f}'.format(b))
print('')
回答
反復回数が多い結果だと思います。反復回数をから1e5に1e3変更し、xをからx_data_input = np.arange(100, step=0.1)に変更しましたx_data_input = np.arange(100, step=0.0001)。このようにして、反復回数を減らしましたが、計算を10倍に増やしました。npでは22秒で完了し、テンソルフローでは25秒で完了します。
私の推測では、テンソルフローには各反復で多くのオーバーヘッドがありますが（多くのことを実行できるフレームワークを提供するため）、フォワードパスとバックワードパスの速度は問題ありません。
私の質問に対する実際の答えは、さまざまなコメントに隠されています。将来の読者のために、これらの調査結果をこの回答に要約します。
TensorFlowと生のPython / NumPy実装の速度の違いについて
答えのこの部分は、実際には非常に論理的です。
各反復（=の各呼び出しSession.run()）TensorFlowは計算を実行します。TensorFlowには、各計算を開始するための大きなオーバーヘッドがあります。GPUでは、このオーバーヘッドはCPUよりもさらに悪化します。ただし、TensorFlowは、実際の計算を上記の生のPython / NumPy実装よりも非常に効率的かつ効率的に実行します。
したがって、データポイントの数が増えると、つまり反復ごとの計算数が増えると、TensorFlowとPython / NumPyの間の相対的なパフォーマンスがTensorFlowの利点にシフトすることがわかります。逆もまた真です。
質問で説明されている問題は非常に小さいため、計算回数は非常に少なく、反復回数は非常に多くなります。そのため、TensorFlowのパフォーマンスは非常に悪くなります。このタイプの小さな問題は、TensorFlowが設計された典型的なユースケースではありません。
実行時間を短縮するには
それでも、TensorFlowスクリプトの実行時間は大幅に短縮できます。実行時間を短縮するには、反復回数を減らす必要があります（問題のサイズに関係なく、これはとにかく良い目標です）。
@aminが指摘したように、これは入力データをスケーリングすることによって実現されます。これが機能する理由を簡単に説明します。グラデーションのサイズと変数の更新は、値が検出される絶対値と比較して、よりバランスが取れています。したがって、必要なステップ（=反復）が少なくなります。
@aminのアドバイスに従って、最終的にxデータを次のようにスケーリングしました（新しいコードの位置を明確にするために、いくつかのコードが繰り返されています）。
# Tensorflow is finicky about shapes, so resize
x_data = np.reshape(x_data_input, (n_samples, 1))
y_data = np.reshape(y_data_input, (n_samples, 1))
### START NEW CODE ###
# Scale x_data
x_mean = np.mean(x_data)
x_std = np.std(x_data)
x_data = (x_data - x_mean) / x_std
### END NEW CODE ###
# Define placeholders for input
X = tf.placeholder(tf.float32, shape=(n_samples, 1), name="tf_x_data")
Y = tf.placeholder(tf.float32, shape=(n_samples, 1), name="tf_y_data")
スケーリングにより、収束が1000倍高速化されます。の代わりに1e5 iterations、1e2 iterationsが必要です。これは、のstep size of 1e-1代わりに最大値を使用できるためstep size of 1e-4です。
検出された重みとバイアスは異なり、今後はスケーリングされたデータをフィードする必要があることに注意してください。
必要に応じて、検出された重みとバイアスのスケーリングを解除して、スケーリングされていないデータをフィードできるようにすることができます。スケーリング解除は、次のコードを使用して行われます（コードの最後のどこかに配置します）。
#%% Unscaling
W_val_unscaled = W_val[0,0]/x_std
b_val_unscaled = b_val[0]-x_mean*W_val[0,0]/x_std