Apache MXNet - gluon API Pythona
Jak już omówiliśmy w poprzednich rozdziałach, MXNet Gluon zapewnia przejrzyste, zwięzłe i proste API dla projektów DL. Umożliwia Apache MXNet prototypowanie, budowanie i trenowanie modeli DL bez utraty szybkości szkolenia.
Moduły podstawowe
Poznajmy podstawowe moduły interfejsu programowania aplikacji (API) gluon Apache MXNet Python.
gluon.nn
Gluon zapewnia dużą liczbę wbudowanych warstw NN w module gluon.nn. Z tego powodu nazywany jest modułem podstawowym.
Metody i ich parametry
Poniżej przedstawiono niektóre z ważnych metod i ich parametrów objętych mxnet.gluon.nn moduł podstawowy -
| Metody i ich parametry | Definicja |
|---|---|
| Aktywacja (aktywacja, ** kwargs) | Jak sama nazwa wskazuje, ta metoda stosuje funkcję aktywacji do wejścia. |
| AvgPool1D ([rozmiar_puli, kroki, dopełnienie,…]) | Jest to średnia operacja łączenia danych czasowych. |
| AvgPool2D ([pool_size, strides, padding,…]) | Jest to średnia operacja łączenia danych przestrzennych. |
| AvgPool3D ([pool_size, strides, padding,…]) | To jest operacja puli średniej dla danych 3D. Dane mogą być przestrzenne lub czasoprzestrzenne. |
| BatchNorm ([oś, pęd, epsilon, środek,…]) | Reprezentuje warstwę normalizacji partii. |
| BatchNormReLU ([oś, pęd, epsilon,…]) | Reprezentuje również warstwę normalizacji partii, ale z funkcją aktywacji Relu. |
| Blok ([prefiks, parametry]) | Daje klasę bazową dla wszystkich warstw i modeli sieci neuronowych. |
| Conv1D (kanały, kernel_size [, strides,…]) | Ta metoda jest stosowana dla warstwy splotu 1-D. Na przykład splot czasowy. |
| Conv1DTranspose (kanały, rozmiar_kernela [,…]) | Ta metoda jest używana dla warstwy splotu transponowanego 1D. |
| Conv2D (kanały, kernel_size [, strides,…]) | Ta metoda jest używana dla warstwy splotu 2D. Na przykład splot przestrzenny na obrazach). |
| Conv2DTranspose (kanały, rozmiar_kernela [,…]) | Ta metoda jest używana w przypadku transponowanej warstwy splotu 2D. |
| Conv3D (kanały, kernel_size [, strides,…]) | Ta metoda jest używana dla warstwy splotu 3D. Na przykład splot przestrzenny w objętości. |
| Conv3DTranspose (kanały, rozmiar_kernela [,…]) | Ta metoda jest używana dla warstwy splotu transponowanego 3D. |
| Gęsty (jednostki [, aktywacja, użycie_bias,…]) | Ta metoda reprezentuje zwykłą gęsto połączoną warstwę NN. |
| Porzucenie (stopa [, osie]) | Jak sama nazwa wskazuje, metoda stosuje Dropout na wejściu. |
| ELU ([alfa]) | Ta metoda jest stosowana w przypadku wykładniczych jednostek liniowych (ELU). |
| Osadzanie (input_dim, output_dim [, dtype,…]) | Zamienia nieujemne liczby całkowite w gęste wektory o stałym rozmiarze. |
| Spłaszcz (** kwargs) | Ta metoda spłaszcza dane wejściowe do 2-D. |
| GELU (** kwargs) | Ta metoda jest używana dla wykładniczych jednostek liniowych Gaussa (GELU). |
| GlobalAvgPool1D ([układ]) | Za pomocą tej metody możemy wykonać operację globalnego łączenia średniej dla danych czasowych. |
| GlobalAvgPool2D ([układ]) | Za pomocą tej metody możemy wykonać operację globalnego łączenia średnich danych przestrzennych. |
| GlobalAvgPool3D ([układ]) | Za pomocą tej metody możemy wykonać operację globalnego łączenia średnich danych trójwymiarowych. |
| GlobalMaxPool1D ([układ]) | Za pomocą tej metody możemy wykonać globalną operację maksymalnego pulowania danych 1-D. |
| GlobalMaxPool2D ([układ]) | Za pomocą tej metody możemy wykonać operację globalnego max poolingu dla danych 2-D. |
| GlobalMaxPool3D ([układ]) | Za pomocą tej metody możemy wykonać operację globalnego max poolingu dla danych trójwymiarowych. |
| GroupNorm ([num_groups, epsilon, center,…]) | Ta metoda stosuje normalizację grupową do tablicy wejściowej nD. |
| HybridBlock ([prefiks, parametry]) | Ta metoda obsługuje przekazywanie z obu Symbol i NDArray. |
| HybridLambda(funkcja [, przedrostek]) | Za pomocą tej metody możemy opakować operator lub wyrażenie jako obiekt HybridBlock. |
| HybridSequential ([prefiks, parametry]) | Układa HybridBlocks sekwencyjnie. |
| InstanceNorm ([oś, epsilon, środek, skala,…]) | Ta metoda stosuje normalizację instancji do tablicy wejściowej nD. |
Przykłady wdrożeń
W poniższym przykładzie użyjemy Block (), który podaje klasę bazową dla wszystkich warstw i modeli sieci neuronowych.
from mxnet.gluon import Block, nn
class Model(Block):
def __init__(self, **kwargs):
super(Model, self).__init__(**kwargs)
# use name_scope to give child Blocks appropriate names.
with self.name_scope():
self.dense0 = nn.Dense(20)
self.dense1 = nn.Dense(20)
def forward(self, x):
x = mx.nd.relu(self.dense0(x))
return mx.nd.relu(self.dense1(x))
model = Model()
model.initialize(ctx=mx.cpu(0))
model(mx.nd.zeros((5, 5), ctx=mx.cpu(0)))Output
Zobaczysz następujący wynik -
[[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]]
<NDArray 5x20 @cpu(0)*gt;W poniższym przykładzie użyjemy HybridBlock (), która obsługuje przekazywanie zarówno z Symbolem, jak i NDArray.
import mxnet as mx
from mxnet.gluon import HybridBlock, nn
class Model(HybridBlock):
def __init__(self, **kwargs):
super(Model, self).__init__(**kwargs)
# use name_scope to give child Blocks appropriate names.
with self.name_scope():
self.dense0 = nn.Dense(20)
self.dense1 = nn.Dense(20)
def forward(self, x):
x = nd.relu(self.dense0(x))
return nd.relu(self.dense1(x))
model = Model()
model.initialize(ctx=mx.cpu(0))
model.hybridize()
model(mx.nd.zeros((5, 5), ctx=mx.cpu(0)))Output
Dane wyjściowe są wymienione poniżej -
[[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]]
<NDArray 5x20 @cpu(0)>gluon.rnn
Gluon zapewnia dużą liczbę wbudowanych recurrent neural network(RNN) warstwy w module gluon.rnn. Z tego powodu nazywa się go modułem podstawowym.
Metody i ich parametry
Poniżej przedstawiono niektóre z ważnych metod i ich parametrów objętych mxnet.gluon.nn moduł podstawowy:
| Metody i ich parametry | Definicja |
|---|---|
| BidirectionalCell (l_cell, r_cell [,…]) | Jest używany w komórce dwukierunkowej sieci neuronowej (RNN). |
| DropoutCell (stopa [, osie, prefiks, parametry]) | Ta metoda zastosuje spadek na danym wejściu. |
| GRU (ukryty_rozmiar [, liczba_warstw, układ,…]) | Stosuje wielowarstwową bramkowaną jednostkę rekurencyjną (GRU) RNN do danej sekwencji wejściowej. |
| GRUCell (hidden_size [,…]) | Jest używany w komórce sieciowej Gated Rectified Unit (GRU). |
| HybridRecurrentCell ([prefiks, parametry]) | Ta metoda obsługuje hybrydyzację. |
| HybridSequentialRNNCell ([prefiks, parametry]) | Za pomocą tej metody możemy sekwencyjnie łączyć wiele komórek HybridRNN. |
| LSTM (hidden_size [, num_layers, layout,…]) 0 | Stosuje wielowarstwową pamięć krótkotrwałą (LSTM) RNN do danej sekwencji wejściowej. |
| LSTMCell (hidden_size [,…]) | Jest używany w komórce sieciowej pamięci długoterminowej (LSTM). |
| ModifierCell (base_cell) | Jest to klasa podstawowa dla komórek modyfikujących. |
| RNN (hidden_size [, num_layers, aktywacja,…]) | Stosuje wielowarstwowy Elman RNN z tanh lub ReLU nieliniowość do danej sekwencji wejściowej. |
| RNNCell (hidden_size [, aktywacja,…]) | Służy do rekurencyjnej komórki sieci neuronowej Elman RNN. |
| RecurrentCell ([prefiks, parametry]) | Reprezentuje abstrakcyjną klasę bazową dla komórek RNN. |
| SequentialRNNCell ([prefiks, parametry]) | Za pomocą tej metody możemy sekwencyjnie układać wiele komórek RNN. |
| ZoneoutCell (base_cell [, zoneout_outputs,…]) | Ta metoda stosuje Zoneout w komórce podstawowej. |
Przykłady wdrożeń
W poniższym przykładzie użyjemy GRU (), która stosuje wielowarstwową bramkowaną jednostkę rekurencyjną (GRU) RNN do danej sekwencji wejściowej.
layer = mx.gluon.rnn.GRU(100, 3)
layer.initialize()
input_seq = mx.nd.random.uniform(shape=(5, 3, 10))
out_seq = layer(input_seq)
h0 = mx.nd.random.uniform(shape=(3, 3, 100))
out_seq, hn = layer(input_seq, h0)
out_seqOutput
Daje to następujący wynik -
[[[ 1.50152072e-01 5.19012511e-01 1.02390535e-01 ... 4.35803324e-01
1.30406499e-01 3.30152437e-02]
[ 2.91542172e-01 1.02243155e-01 1.73325196e-01 ... 5.65296151e-02
1.76546033e-02 1.66693389e-01]
[ 2.22257316e-01 3.76294643e-01 2.11277917e-01 ... 2.28903517e-01
3.43954474e-01 1.52770668e-01]]
[[ 1.40634328e-01 2.93247789e-01 5.50393537e-02 ... 2.30207980e-01
6.61415309e-02 2.70989928e-02]
[ 1.11081995e-01 7.20834285e-02 1.08342394e-01 ... 2.28330195e-02
6.79589901e-03 1.25501186e-01]
[ 1.15944080e-01 2.41565228e-01 1.18612610e-01 ... 1.14908054e-01
1.61080107e-01 1.15969211e-01]]
………………………….Example
hnOutput
Daje to następujący wynik -
[[[-6.08105101e-02 3.86217088e-02 6.64453954e-03 8.18805695e-02
3.85607071e-02 -1.36945639e-02 7.45836645e-03 -5.46515081e-03
9.49622393e-02 6.39371723e-02 -6.37890724e-03 3.82240303e-02
9.11015049e-02 -2.01375950e-02 -7.29381144e-02 6.93765879e-02
2.71829776e-02 -6.64435029e-02 -8.45306814e-02 -1.03075653e-01
6.72040805e-02 -7.06537142e-02 -3.93818803e-02 5.16211614e-03
-4.79770005e-02 1.10734522e-01 1.56721435e-02 -6.93409378e-03
1.16915874e-01 -7.95962065e-02 -3.06530762e-02 8.42394680e-02
7.60370195e-02 2.17055440e-01 9.85361822e-03 1.16660878e-01
4.08297703e-02 1.24978097e-02 8.25245082e-02 2.28673983e-02
-7.88266212e-02 -8.04114193e-02 9.28791538e-02 -5.70827350e-03
-4.46166918e-02 -6.41122833e-02 1.80885363e-02 -2.37745279e-03
4.37298454e-02 1.28888980e-01 -3.07202265e-02 2.50503756e-02
4.00907174e-02 3.37077095e-03 -1.78839862e-02 8.90695080e-02
6.30150884e-02 1.11416787e-01 2.12221760e-02 -1.13236710e-01
5.39616570e-02 7.80710578e-02 -2.28817668e-02 1.92073174e-02
………………………….W poniższym przykładzie użyjemy LSTM (), która stosuje pamięć długookresową (LSTM) RNN do danej sekwencji wejściowej.
layer = mx.gluon.rnn.LSTM(100, 3)
layer.initialize()
input_seq = mx.nd.random.uniform(shape=(5, 3, 10))
out_seq = layer(input_seq)
h0 = mx.nd.random.uniform(shape=(3, 3, 100))
c0 = mx.nd.random.uniform(shape=(3, 3, 100))
out_seq, hn = layer(input_seq,[h0,c0])
out_seqOutput
Dane wyjściowe są wymienione poniżej -
[[[ 9.00025964e-02 3.96071747e-02 1.83841765e-01 ... 3.95872220e-02
1.25569820e-01 2.15555862e-01]
[ 1.55962542e-01 -3.10300849e-02 1.76772922e-01 ... 1.92474753e-01
2.30574399e-01 2.81707942e-02]
[ 7.83204585e-02 6.53361529e-03 1.27262697e-01 ... 9.97719541e-02
1.28254429e-01 7.55299702e-02]]
[[ 4.41036932e-02 1.35250352e-02 9.87644792e-02 ... 5.89378644e-03
5.23949116e-02 1.00922674e-01]
[ 8.59075040e-02 -1.67027581e-02 9.69351009e-02 ... 1.17763653e-01
9.71239135e-02 2.25218050e-02]
[ 4.34580036e-02 7.62207608e-04 6.37005866e-02 ... 6.14888743e-02
5.96345589e-02 4.72368896e-02]]
……………Example
hnOutput
Po uruchomieniu kodu zobaczysz następujące dane wyjściowe -
[
[[[ 2.21408084e-02 1.42750628e-02 9.53067932e-03 -1.22849066e-02
1.78788435e-02 5.99269159e-02 5.65306023e-02 6.42553642e-02
6.56616641e-03 9.80876666e-03 -1.15729487e-02 5.98640442e-02
-7.21173314e-03 -2.78371759e-02 -1.90690923e-02 2.21447181e-02
8.38765781e-03 -1.38521893e-02 -9.06938594e-03 1.21346042e-02
6.06449470e-02 -3.77471633e-02 5.65885007e-02 6.63008019e-02
-7.34188128e-03 6.46054149e-02 3.19911093e-02 4.11194898e-02
4.43960279e-02 4.92892228e-02 1.74766723e-02 3.40303481e-02
-5.23341820e-03 2.68163737e-02 -9.43402853e-03 -4.11836170e-02
1.55221792e-02 -5.05655073e-02 4.24557598e-03 -3.40388380e-02
……………………Moduły szkoleniowe
Moduły szkoleniowe w Gluon są następujące -
gluon.loss
W mxnet.gluon.lossmoduł, Gluon zapewnia predefiniowaną funkcję strat. Zasadniczo ma straty do uczenia sieci neuronowej. Z tego powodu nazywa się go modułem szkoleniowym.
Metody i ich parametry
Poniżej przedstawiono niektóre z ważnych metod i ich parametrów objętych mxnet.gluon.loss moduł szkoleniowy:
| Metody i ich parametry | Definicja |
|---|---|
| Strata (waga, oś_ partii, ** kwargs) | Działa jako klasa bazowa strat. |
| L2Loss ([waga, oś_ partii]) | Oblicza średni kwadrat błędu (MSE) pomiędzy label i prediction(pred). |
| L1Loss ([waga, oś_ partii]) | Oblicza średni błąd bezwzględny (MAE) pomiędzy label i pred. |
| SigmoidBinaryCrossEntropyLoss ([…]) | Ta metoda jest używana do utraty entropii krzyżowej w klasyfikacji binarnej. |
| SigmoidBCELoss | Ta metoda jest używana do utraty entropii krzyżowej w klasyfikacji binarnej. |
| SoftmaxCrossEntropyLoss ([oś,…]) | Oblicza stratę krzyżową entropii softmax (CEL). |
| SoftmaxCELoss | Oblicza również utratę entropii krzyżowej softmax. |
| KLDivLoss ([from_logits, axis, weight,…]) | Służy do utraty dywergencji Kullbacka-Leiblera. |
| CTCLoss ([układ, etykieta_layout, waga]) | Służy do koneksjonistycznej utraty klasyfikacji czasowej (TCL). |
| HuberLoss ([rho, weight, batch_axis]) | Oblicza wygładzoną stratę L1. Wygładzona strata L1 będzie równa stracie L1, jeśli błąd bezwzględny przekracza rho, ale w przeciwnym razie jest równy stracie L2. |
| HingeLoss ([margines, weight, batch_axis]) | Ta metoda oblicza funkcję utraty zawiasów często używaną w maszynach SVM: |
| SquaredHingeLoss ([margines, waga, batch_axis]) | Ta metoda oblicza funkcję miękkiej straty używaną w maszynach SVM: |
| LogisticLoss ([weight, batch_axis, label_format]) | Ta metoda oblicza stratę logistyczną. |
| TripletLoss ([margin, weight, batch_axis]) | Ta metoda oblicza stratę tripletową przy trzech tensorach wejściowych i dodatnim marginesie. |
| PoissonNLLLoss ([waga, z_logits,…]) | Funkcja oblicza utratę prawdopodobieństwa logarytmu ujemnego. |
| CosineEmbeddingLoss ([waga, oś_ partii, margines]) | Funkcja oblicza odległość cosinusa między wektorami. |
| SDMLLoss ([parametr_ wygładzania, waga,…]) | Ta metoda oblicza stratę Batchwise Smoothed Deep Metric Learning (SDML) przy dwóch wejściowych tensorach i wygładzonej utracie SDM. Uczy się podobieństwa między sparowanymi próbkami, używając niesparowanych próbek w minibatch jako potencjalnych negatywnych przykładów. |
Przykład
Jak wiemy mxnet.gluon.loss.lossobliczy MSE (błąd średniokwadratowy) między etykietą a prognozą (pred). Odbywa się to za pomocą następującego wzoru:
gluon.parameter
mxnet.gluon.parameter to pojemnik zawierający parametry tj. wagi Bloczków.
Metody i ich parametry
Poniżej przedstawiono niektóre z ważnych metod i ich parametrów objętych mxnet.gluon.parameter moduł szkoleniowy -
| Metody i ich parametry | Definicja |
|---|---|
| obsada (dtype) | Ta metoda będzie rzutować dane i gradient tego parametru na nowy typ danych. |
| dane ([ctx]) | Ta metoda zwróci kopię tego parametru w jednym kontekście. |
| grad ([ctx]) | Ta metoda zwróci bufor gradientu dla tego parametru w jednym kontekście. |
| zainicjalizuj ([init, ctx, default_init,…]) | Ta metoda zainicjuje tablice parametrów i gradientów. |
| list_ctx () | Ta metoda zwróci listę kontekstów, w których ten parametr jest zainicjowany. |
| list_data () | Ta metoda zwróci kopie tego parametru we wszystkich kontekstach. Będzie to robione w tej samej kolejności, co tworzenie. |
| list_grad () | Ta metoda zwróci bufory gradientu we wszystkich kontekstach. Zostanie to zrobione w tej samej kolejności, covalues(). |
| list_row_sparse_data (row_id) | Ta metoda zwróci kopie parametru „row_sparse” we wszystkich kontekstach. Będzie to robione w tej samej kolejności, co tworzenie. |
| reset_ctx (ctx) | Ta metoda spowoduje ponowne przypisanie parametru do innych kontekstów. |
| row_sparse_data (row_id) | Ta metoda zwróci kopię parametru „row_sparse” w tym samym kontekście, co parametr row_id. |
| set_data (dane) | Ta metoda ustawi wartość tego parametru we wszystkich kontekstach. |
| var () | Ta metoda zwróci symbol reprezentujący ten parametr. |
| zero_grad () | Ta metoda ustawi bufor gradientu we wszystkich kontekstach na 0. |
Przykład implementacji
W poniższym przykładzie zainicjujemy parametry i tablice gradientów za pomocą metody initialize () w następujący sposób -
weight = mx.gluon.Parameter('weight', shape=(2, 2))
weight.initialize(ctx=mx.cpu(0))
weight.data()Output
Dane wyjściowe są wymienione poniżej -
[[-0.0256899 0.06511251]
[-0.00243821 -0.00123186]]
<NDArray 2x2 @cpu(0)>Example
weight.grad()Output
Dane wyjściowe podano poniżej -
[[0. 0.]
[0. 0.]]
<NDArray 2x2 @cpu(0)>Example
weight.initialize(ctx=[mx.gpu(0), mx.gpu(1)])
weight.data(mx.gpu(0))Output
Zobaczysz następujący wynik -
[[-0.00873779 -0.02834515]
[ 0.05484822 -0.06206018]]
<NDArray 2x2 @gpu(0)>Example
weight.data(mx.gpu(1))Output
Po wykonaniu powyższego kodu powinieneś zobaczyć następujące dane wyjściowe -
[[-0.00873779 -0.02834515]
[ 0.05484822 -0.06206018]]
<NDArray 2x2 @gpu(1)>gluon.trainer
mxnet.gluon.trainer stosuje Optymalizator do zestawu parametrów. Powinien być używany razem z autogradem.
Metody i ich parametry
Poniżej przedstawiono niektóre z ważnych metod i ich parametrów objętych mxnet.gluon.trainer moduł szkoleniowy -
| Metody i ich parametry | Definicja |
|---|---|
| allreduce_grads () | Ta metoda zmniejszy gradienty z różnych kontekstów dla każdego parametru (wagi). |
| load_states (fname) | Jak sama nazwa wskazuje, ta metoda załaduje stany trenera. |
| save_states (fname) | Jak sama nazwa wskazuje, ta metoda pozwoli zaoszczędzić stany trenera. |
| set_learning_rate (lr) | Ta metoda ustawi nowy współczynnik uczenia się optymalizatora. |
| krok (batch_size [, ignore_stale_grad]) | Ta metoda stanowi jeden krok do aktualizacji parametrów. Powinien zostać nazwany późniejautograd.backward() i poza record() zakres. |
| aktualizacja (batch_size [, ignore_stale_grad]) | Ta metoda będzie również stanowić jeden krok aktualizacji parametrów. Powinien zostać nazwany późniejautograd.backward() i poza record() scope i po trainer.update (). |
Moduły danych
Moduły danych Gluon są wyjaśnione poniżej -
gluon.data
Gluon zapewnia dużą liczbę wbudowanych narzędzi do zestawów danych w module gluon.data. Z tego powodu nazywany jest modułem danych.
Klasy i ich parametry
Poniżej przedstawiono niektóre z ważnych metod i ich parametrów objętych modułem podstawowym mxnet.gluon.data. Te metody są zwykle powiązane z zestawami danych, próbkowaniem i DataLoader.
Zestaw danych| Metody i ich parametry | Definicja |
|---|---|
| ArrayDataset (* args) | Ta metoda reprezentuje zestaw danych, który łączy dwa lub więcej niż dwa obiekty podobne do zestawu danych. Na przykład zbiory danych, listy, tablice itp. |
| BatchSampler (sampler, batch_size [, last_batch]) | Ta metoda zawija się nad inną Sampler. Po zapakowaniu zwraca mini partie próbek. |
| DataLoader (dataset [, batch_size, shuffle,…]) | Podobna do BatchSampler, ale ta metoda ładuje dane z zestawu danych. Po załadowaniu zwraca mini partie danych. |
| Reprezentuje abstrakcyjną klasę zestawu danych. | |
| FilterSampler (fn, zestaw danych) | Ta metoda reprezentuje przykładowe elementy z zestawu danych, dla których funkcja fn (funkcja) zwraca True. |
| RandomSampler (długość) | Ta metoda reprezentuje elementy próbek z [0, długość) losowo bez zastępowania. |
| RecordFileDataset (nazwa pliku) | Reprezentuje zawijanie zestawu danych w pliku RecordIO. Rozszerzenie pliku to.rec. |
| Próbnik | To jest klasa bazowa dla samplerów. |
| SequentialSampler (długość [, początek]) | Reprezentuje sekwencyjnie przykładowe elementy z zestawu [początek, początek + długość). |
| Reprezentuje sekwencyjnie przykładowe elementy z zestawu [początek, początek + długość). | Reprezentuje to prostą otokę zestawu danych, szczególnie w przypadku list i tablic. |
Przykłady wdrożeń
W poniższym przykładzie użyjemy gluon.data.BatchSampler()API, które otacza inny sampler. Zwraca mini partie próbek.
import mxnet as mx
from mxnet.gluon import data
sampler = mx.gluon.data.SequentialSampler(15)
batch_sampler = mx.gluon.data.BatchSampler(sampler, 4, 'keep')
list(batch_sampler)Output
Dane wyjściowe są wymienione poniżej -
[[0, 1, 2, 3], [4, 5, 6, 7], [8, 9, 10, 11], [12, 13, 14]]gluon.data.vision.datasets
Gluon zapewnia dużą liczbę wstępnie zdefiniowanych funkcji zestawu danych wizyjnych w gluon.data.vision.datasets moduł.
Klasy i ich parametry
MXNet dostarcza nam przydatne i ważne zbiory danych, których klasy i parametry podano poniżej -
| Klasy i ich parametry | Definicja |
|---|---|
| MNIST ([root, train, transform]) | Jest to przydatny zbiór danych, który dostarcza nam odręcznych cyfr. Adres URL zestawu danych MNIST to http://yann.lecun.com/exdb/mnist |
| FashionMNIST ([root, train, transform]) | Ten zbiór danych składa się z obrazów artykułów Zalando, które zawierają produkty modowe. Jest to bezpośredni zamiennik oryginalnego zbioru danych MNIST. Możesz pobrać ten zestaw danych z https://github.com/zalandoresearch/fashion-mnist |
| CIFAR10 ([root, train, transform]) | To jest zbiór danych klasyfikacji obrazów z https://www.cs.toronto.edu/~kriz/cifar.html. W tym zbiorze danych każda próbka jest obrazem z kształtem (32, 32, 3). |
| CIFAR100 ([root, fine_label, pociąg, transformacja]) | To jest zbiór danych klasyfikacji obrazu CIFAR100 z https://www.cs.toronto.edu/~kriz/cifar.html. Ma również każda próbka jest obrazem z kształtem (32, 32, 3). |
| ImageRecordDataset (nazwa pliku [, flaga, transformacja]) | Ten zestaw danych jest zawijany w pliku RecordIO zawierającym obrazy. W tym przypadku każda próbka jest obrazem z odpowiednią etykietą. |
| ImageFolderDataset (root [, flaga, transformacja]) | To jest zestaw danych do ładowania plików obrazów przechowywanych w strukturze folderów. |
| ImageListDataset ([root, imglist, flag]) | To jest zbiór danych służący do ładowania plików graficznych określonych przez listę pozycji. |
Przykład
W poniższym przykładzie pokażemy użycie metody ImageListDataset (), która służy do ładowania plików graficznych określonych przez listę wpisów -
# written to text file *.lst
0 0 root/cat/0001.jpg
1 0 root/cat/xxxa.jpg
2 0 root/cat/yyyb.jpg
3 1 root/dog/123.jpg
4 1 root/dog/023.jpg
5 1 root/dog/wwww.jpg
# A pure list, each item is a list [imagelabel: float or list of float, imgpath]
[[0, root/cat/0001.jpg]
[0, root/cat/xxxa.jpg]
[0, root/cat/yyyb.jpg]
[1, root/dog/123.jpg]
[1, root/dog/023.jpg]
[1, root/dog/wwww.jpg]]Moduły narzędziowe
Moduły narzędziowe w Gluon są następujące -
gluon.utils
Gluon zapewnia dużą liczbę wbudowanych optymalizatorów narzędzi równoległych w module gluon.utils. Zapewnia różnorodne narzędzia do treningu. Z tego powodu nazywa się go modułem narzędziowym.
Funkcje i ich parametry
Poniżej przedstawiono funkcje i ich parametry składające się na ten moduł narzędziowy o nazwie gluon.utils −
| Funkcje i ich parametry | Definicja |
|---|---|
| split_data (data, num_slice [, batch_axis,…]) | Ta funkcja jest zwykle używana do równoległości danych, a każdy segment jest wysyłany do jednego urządzenia, tj. GPU. Dzieli NDArray nanum_slice plasterki wzdłuż batch_axis. |
| split_and_load (dane, ctx_list [, batch_axis,…]) | Ta funkcja dzieli NDArray na len(ctx_list) plasterki wzdłuż batch_axis. Jedyną różnicą w stosunku do powyższej funkcji split_data () jest to, że ładuje ona również każdy wycinek do jednego kontekstu ctx_list. |
| clip_global_norm (tablice, max_norm [,…]) | Zadaniem tej funkcji jest przeskalowanie tablic NDA w taki sposób, aby suma ich 2-normy była mniejsza niż max_norm. |
| check_sha1 (nazwa pliku, sha1_hash) | Ta funkcja sprawdzi, czy hash sha1 zawartości pliku jest zgodny z oczekiwanym hashem, czy nie. |
| pobieranie (adres URL [, ścieżka, nadpisanie, sha1_hash,…]) | Jak nazwa wskazuje, funkcja ta pobierze podany adres URL. |
| replace_file (src, dst) | Ta funkcja zaimplementuje atomic os.replace. będzie to zrobione z Linuksem i OSX. |