Como o Pytorch constrói o gráfico de computação

Question

Aqui está um exemplo de código pytorch do site:

class Net(nn.Module):

def __init__(self):
    super(Net, self).__init__()
    # 1 input image channel, 6 output channels, 3x3 square convolution
    # kernel
    self.conv1 = nn.Conv2d(1, 6, 3)
    self.conv2 = nn.Conv2d(6, 16, 3)
    # an affine operation: y = Wx + b
    self.fc1 = nn.Linear(16 * 6 * 6, 120)  # 6*6 from image dimension
    self.fc2 = nn.Linear(120, 84)
    self.fc3 = nn.Linear(84, 10)

def forward(self, x):
    # Max pooling over a (2, 2) window
    x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
    # If the size is a square you can only specify a single number
    x = F.max_pool2d(F.relu(self.conv2(x)), 2)
    x = x.view(-1, self.num_flat_features(x))
    x = F.relu(self.fc1(x))
    x = F.relu(self.fc2(x))
    x = self.fc3(x)
    return x

Na função forward, simplesmente aplicamos uma série de transformações a x, mas nunca definimos explicitamente quais objetos fazem parte dessa transformação. No entanto, ao calcular o gradiente e atualizar os pesos, o Pytorch 'magicamente' sabe quais pesos atualizar e como o gradiente deve ser calculado.

Como funciona esse processo? Há análise de código em andamento ou algo mais que estou perdendo?

Answer 1

Sim, há análise implícita no passe para frente. Examine o tensor de resultado, existe algo como grad_fn= <CatBackward>, que é um link, permitindo que você desenrole todo o gráfico de computação. E é construído durante o processo de computação direta real, não importa como você definiu seu módulo de rede, orientado a objetos com 'nn' ou modo 'funcional'.

Você pode explorar este gráfico para análise líquida, como torchvizaqui:https://github.com/szagoruyko/pytorchviz/blob/master/torchviz/dot.py