xgbとXGBclassifierを使用したGPUよりも高速なCPU
初心者ですので、あらかじめお詫び申し上げます。xgbとXGBclassifierを使用してXGBoostでGPUとCPUのテストを試しています。結果は次のとおりです。
passed time with xgb (gpu): 0.390s
passed time with XGBClassifier (gpu): 0.465s
passed time with xgb (cpu): 0.412s
passed time with XGBClassifier (cpu): 0.421s
なぜCPUはGPUよりも優れていないとしても同等のパフォーマンスを発揮するように見えるのか疑問に思います。これは私の設定です：
- Python 3.6.1
- OS：Windows 1064ビット
- GPU：NVIDIA RTX 2070 Super 8gb vram（ドライバーが最新バージョンに更新されました）
- CUDA10.1がインストールされています
- CPU i7 10700 2.9Ghz
- JupyterNotebookで実行
- xgboost1.2.0のナイトリービルドをpip経由でインストールしました
** pipを使用してビルド済みのバイナリホイールからインストールされたバージョンのxgboostを使用してみました：同じ問題
これが私が使用しているテストコードです（ここから持ち上げられました）：
param = {'max_depth':5, 'objective':'binary:logistic', 'subsample':0.8,
'colsample_bytree':0.8, 'eta':0.5, 'min_child_weight':1,
'tree_method':'gpu_hist'
}
num_round = 100
dtrain = xgb.DMatrix(X_train2, y_train)
tic = time.time()
model = xgb.train(param, dtrain, num_round)
print('passed time with xgb (gpu): %.3fs'%(time.time()-tic))
xgb_param = {'max_depth':5, 'objective':'binary:logistic', 'subsample':0.8,
'colsample_bytree':0.8, 'learning_rate':0.5, 'min_child_weight':1,
'tree_method':'gpu_hist'}
model = xgb.XGBClassifier(**xgb_param)
tic = time.time()
model.fit(X_train2, y_train)
print('passed time with XGBClassifier (gpu): %.3fs'%(time.time()-tic))
param = {'max_depth':5, 'objective':'binary:logistic', 'subsample':0.8,
'colsample_bytree':0.8, 'eta':0.5, 'min_child_weight':1,
'tree_method':'hist'}
num_round = 100
dtrain = xgb.DMatrix(X_train2, y_train)
tic = time.time()
model = xgb.train(param, dtrain, num_round)
print('passed time with xgb (cpu): %.3fs'%(time.time()-tic))
xgb_param = {'max_depth':5, 'objective':'binary:logistic', 'subsample':0.8,
'colsample_bytree':0.8, 'learning_rate':0.5, 'min_child_weight':1,
'tree_method':'hist'}
model = xgb.XGBClassifier(**xgb_param)
tic = time.time()
model.fit(X_train2, y_train)
print('passed time with XGBClassifier (cpu): %.3fs'%(time.time()-tic))
Sklearnグリッド検索を組み込んで、GPUでより速い速度が得られるかどうかを確認しようとしましたが、CPUよりもはるかに遅くなりました。
passed time with XGBClassifier (gpu): 2457.510s
Best parameter (CV score=0.490):
{'xgbclass__alpha': 100, 'xgbclass__eta': 0.01, 'xgbclass__gamma': 0.2, 'xgbclass__max_depth': 5, 'xgbclass__n_estimators': 100}
passed time with XGBClassifier (cpu): 383.662s
Best parameter (CV score=0.487):
{'xgbclass__alpha': 100, 'xgbclass__eta': 0.1, 'xgbclass__gamma': 0.2, 'xgbclass__max_depth': 2, 'xgbclass__n_estimators': 20}
75kの観測値を持つデータセットを使用しています。GPUを使用してもスピードアップが得られない理由はありますか？データセットが小さすぎて、GPUを使用して利益を得ることができませんか？
どんな助けでも大歓迎です。どうもありがとうございました！
回答
興味深い質問です。お気づきのように、Githubと公式に記載されているこの例がいくつかありますxgboost site：
- https://github.com/dmlc/xgboost/issues/2819
- https://discuss.xgboost.ai/t/no-gpu-usage-when-using-gpu-hist/532
同様の質問を投稿した人もいます：
- GPUをサポートするXGBClassifierを使用した場合のスピードアップはありません
見ると、公式xgboost文書、GPUのサポートに関する広範なセクションがあります。
確認すべきことがいくつかあります。ドキュメントには次のように記載されています。
ツリーの構築（トレーニング）と予測は、CUDA対応のGPUを使用して高速化できます。
1. GPU CUDAが有効になっていますか？
はい、です。
2. GPUの使用によって影響を受ける可能性のあるパラメーターを使用していますか？
GPUを使用することでメリットが得られるのは、特定のパラメーターのみであることに注意してください。それらは：
はい、そうです。これらのほとんどはハイパーパラメータセットに含まれています。これは良いことです。
{subsample, sampling_method, colsample_bytree, colsample_bylevel, max_bin, gamma, gpu_id, predictor, grow_policy, monotone_constraints, interaction_constraints, single_precision_histogram}
3. GPUサポートを使用するようにパラメーターを構成していますか？
XGBoostパラメータページを見ると、時間を改善するのに役立つ可能性のある追加の領域を見つけることができます。たとえば、updaterに設定することができますgrow_gpu_hist（注：これは設定したので意味がありませんtree_methodが、メモ用です）：
grow_gpu_hist：GPUでツリーを成長させます。
パラメータページの下部には、gpu_hist有効にするための追加のパラメータがありますdeterministic_histogram（特に、これはデフォルトで設定されているため、これは重要ではありませんTrue）。
GPU上で決定論的にヒストグラムを作成します。浮動小数点の合計には関連性がないため、ヒストグラムの作成は決定論的ではありません。この問題を軽減するために、事前丸めルーチンを採用しています。これにより、精度がわずかに低下する可能性があります。falseに設定すると、無効になります。
4.データ
私はいくつかのデータを使っていくつかの興味深い実験を行いました。私はあなたのデータへのアクセスを持っていなかったので、私が使用sklearnのmake_classificationデータを生成し、かなり堅牢な方法でします。
スクリプトにいくつか変更を加えましたが、変更がないことに気付きました。gpuとcpuの例でハイパーパラメータを変更し、これを100回実行して、平均的な結果を取得しました。何も目立たないようでした。かつてXGBoostGPUとCPUの機能を使用して分析を高速化したことを思い出しましたが、はるかに大きなデータセットで作業していました。
私はこのデータを使用して、わずかにスクリプトを編集し、そしてまた数を変え始めsamplesとfeatures（を経由してデータセットにn_samplesし、n_featuresランタイムへの影響を観察するためのパラメータ）。GPUは高次元データのトレーニング時間を大幅に改善するように見えますが、多くのサンプルを含むバルクデータでは大きな改善は見られません。以下の私のスクリプトを参照してください。
import xgboost as xgb, numpy, time
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
xgb_gpu = []
xgbclassifier_gpu = []
xgb_cpu = []
xgbclassifier_cpu = []
n_samples = 75000
n_features = 500
for i in range(len(10)):
n_samples += 10000
n_features += 300
# Make my own data since I do not have the data from the SO question
X_train2, y_train = make_classification(n_samples=n_samples, n_features=n_features*0.9, n_informative=n_features*0.1,
n_redundant=100, flip_y=0.10, random_state=8)
# Keep script from OP intact
param = {'max_depth':5, 'objective':'binary:logistic', 'subsample':0.8,
'colsample_bytree':0.8, 'eta':0.5, 'min_child_weight':1,
'tree_method':'gpu_hist', 'gpu_id': 0
}
num_round = 100
dtrain = xgb.DMatrix(X_train2, y_train)
tic = time.time()
model = xgb.train(param, dtrain, num_round)
print('passed time with xgb (gpu): %.3fs'%(time.time()-tic))
xgb_gpu.append(time.time()-tic)
xgb_param = {'max_depth':5, 'objective':'binary:logistic', 'subsample':0.8,
'colsample_bytree':0.8, 'learning_rate':0.5, 'min_child_weight':1,
'tree_method':'gpu_hist', 'gpu_id':0}
model = xgb.XGBClassifier(**xgb_param)
tic = time.time()
model.fit(X_train2, y_train)
print('passed time with XGBClassifier (gpu): %.3fs'%(time.time()-tic))
xgbclassifier_gpu.append(time.time()-tic)
param = {'max_depth':5, 'objective':'binary:logistic', 'subsample':0.8,
'colsample_bytree':0.8, 'eta':0.5, 'min_child_weight':1,
'tree_method':'hist'}
num_round = 100
dtrain = xgb.DMatrix(X_train2, y_train)
tic = time.time()
model = xgb.train(param, dtrain, num_round)
print('passed time with xgb (cpu): %.3fs'%(time.time()-tic))
xgb_cpu.append(time.time()-tic)
xgb_param = {'max_depth':5, 'objective':'binary:logistic', 'subsample':0.8,
'colsample_bytree':0.8, 'learning_rate':0.5, 'min_child_weight':1,
'tree_method':'hist'}
model = xgb.XGBClassifier(**xgb_param)
tic = time.time()
model.fit(X_train2, y_train)
print('passed time with XGBClassifier (cpu): %.3fs'%(time.time()-tic))
xgbclassifier_cpu.append(time.time()-tic)
import pandas as pd
df = pd.DataFrame({'XGB GPU': xgb_gpu, 'XGBClassifier GPU': xgbclassifier_gpu, 'XGB CPU': xgb_cpu, 'XGBClassifier CPU': xgbclassifier_cpu})
#df.to_csv('both_results.csv')
同じデータセットで、それぞれ（サンプル、機能）を個別に、一緒に変更してこれを実行しました。以下の結果を参照してください。
| Interval | XGB GPU | XGBClassifier GPU | XGB CPU | XGBClassifier CPU | Metric |
|:--------:|:--------:|:-----------------:|:--------:|:-----------------:|:----------------:|
| 0 | 11.3801 | 12.00785 | 15.20124 | 15.48131 | Changed Features |
| 1 | 15.67674 | 16.85668 | 20.63819 | 22.12265 | Changed Features |
| 2 | 18.76029 | 20.39844 | 33.23108 | 32.29926 | Changed Features |
| 3 | 23.147 | 24.91953 | 47.65588 | 44.76052 | Changed Features |
| 4 | 27.42542 | 29.48186 | 50.76428 | 55.88155 | Changed Features |
| 5 | 30.78596 | 33.03594 | 71.4733 | 67.24275 | Changed Features |
| 6 | 35.03331 | 37.74951 | 77.68997 | 75.61216 | Changed Features |
| 7 | 39.13849 | 42.17049 | 82.95307 | 85.83364 | Changed Features |
| 8 | 42.55439 | 45.90751 | 92.33368 | 96.72809 | Changed Features |
| 9 | 46.89023 | 50.57919 | 105.8298 | 107.3893 | Changed Features |
| 0 | 7.013227 | 7.303488 | 6.998254 | 9.733574 | No Changes |
| 1 | 6.757523 | 7.302388 | 5.714839 | 6.805287 | No Changes |
| 2 | 6.753428 | 7.291906 | 5.899611 | 6.603533 | No Changes |
| 3 | 6.749848 | 7.293555 | 6.005773 | 6.486256 | No Changes |
| 4 | 6.755352 | 7.297607 | 5.982163 | 8.280619 | No Changes |
| 5 | 6.756498 | 7.335412 | 6.321188 | 7.900422 | No Changes |
| 6 | 6.792402 | 7.332112 | 6.17904 | 6.443676 | No Changes |
| 7 | 6.786584 | 7.311666 | 7.093638 | 7.811417 | No Changes |
| 8 | 6.7851 | 7.30604 | 5.574762 | 6.045969 | No Changes |
| 9 | 6.789152 | 7.309363 | 5.751018 | 6.213471 | No Changes |
| 0 | 7.696765 | 8.03615 | 6.175457 | 6.764809 | Changed Samples |
| 1 | 7.914885 | 8.646722 | 6.997217 | 7.598789 | Changed Samples |
| 2 | 8.489555 | 9.2526 | 6.899783 | 7.202334 | Changed Samples |
| 3 | 9.197605 | 10.02934 | 7.511708 | 7.724675 | Changed Samples |
| 4 | 9.73642 | 10.64056 | 7.918493 | 8.982463 | Changed Samples |
| 5 | 10.34522 | 11.31103 | 8.524865 | 9.403711 | Changed Samples |
| 6 | 10.94025 | 11.98357 | 8.697257 | 9.49277 | Changed Samples |
| 7 | 11.80717 | 12.93195 | 8.734307 | 10.79595 | Changed Samples |
| 8 | 12.18282 | 13.38646 | 9.175231 | 10.33532 | Changed Samples |
| 9 | 13.05499 | 14.33106 | 11.04398 | 10.50722 | Changed Samples |
| 0 | 12.43683 | 13.19787 | 12.80741 | 13.86206 | Changed Both |
| 1 | 18.59139 | 20.01569 | 25.61141 | 35.37391 | Changed Both |
| 2 | 24.37475 | 26.44214 | 40.86238 | 42.79259 | Changed Both |
| 3 | 31.96762 | 34.75215 | 68.869 | 59.97797 | Changed Both |
| 4 | 41.26578 | 44.70537 | 83.84672 | 94.62811 | Changed Both |
| 5 | 49.82583 | 54.06252 | 109.197 | 108.0314 | Changed Both |
| 6 | 59.36528 | 64.60577 | 131.1234 | 140.6352 | Changed Both |
| 7 | 71.44678 | 77.71752 | 156.1914 | 161.4897 | Changed Both |
| 8 | 81.79306 | 90.56132 | 196.0033 | 193.4111 | Changed Both |
| 9 | 94.71505 | 104.8044 | 215.0758 | 224.6175 | Changed Both |
変化なし
線形に増加する機能数
直線的に増加するサンプル
直線的に増加するサンプルと機能
私がもっと研究し始めたので、意味あり。GPUは高次元のデータに合わせて適切にスケーリングすることが知られており、データが高次元の場合、トレーニング時間の改善が見られることは理にかなっています。次の例を参照してください。
- https://projecteuclid.org/download/pdfview_1/euclid.ss/1294167962
- GPUをサポートする高次元データでのより高速なKmeansクラスタリング
- https://link.springer.com/article/10.1007/s11063-014-9383-4
データにアクセスせずに確実に言うことはできませんが、GPUのハードウェア機能により、データがサポートしている場合にパフォーマンスが大幅に向上するように思われます。データのサイズと形状を考えると、そうではないようです。持ってる。