Nesta série, compartilharei com você meu resumo do livro Dive into deep learning. Comecei a lê-lo como uma revisão do que sei sobre EAD e também para explorar novos conceitos que posso ter perdido.

O livro está disponível gratuitamente aqui junto com os exemplos de código:https://d2l.ai

Começarei com o capítulo 3: Regressão Linear, pois os dois primeiros capítulos são sobre matemática necessária para entender os conceitos do livro.
Recomendo esta especialização no Coursera é muito bem ilustrada e cobre tudo o que você precisa para começar a aprender sobre DL e ML.

Nesta peça, resumirei a seção 3.1 da página 82 até a página 86, o conteúdo do livro é muito rico, então não quero tornar o artigo muito longo.

Regressão linear

1- Quando usar regressão?
Quando queremos prever um valor numérico como o preço de um item ou seu comprimento.

O livro nos mostra um exemplo de previsão de preços de casas.

2- Existem algumas terminologias que precisamos estar atentos durante a leitura que são:

• conjunto de treinamento : conjunto de dados onde cada linha corresponde a uma observação
• um exemplo/ponto de dados/instância/amostra : uma única observação ou linha
• label/target: o que estamos tentando prever
• recursos/covariantes: as variáveis ​​sobre as quais as previsões são feitas
• n : número de exemplos no conjunto de dados e i é a i-ésima amostra

dada uma função y=wx+b

• A relação entre o alvo y e os recursos x é aproximadamente linear, o que significa que a média condicional E[y|x=x] pode ser representada como uma soma ponderada de todos os recursos x.
  Essa suposição significa que o valor esperado do alvo pode ser expresso como uma soma ponderada de recursos.

4- O que é um modelo?

Um modelo é uma solução que descreve como os recursos podem ser transformados em uma estimativa do alvo.

como dissemos, o alvo é uma soma ponderada dos recursos, aqui w-area e w-age são chamados de pesos e b é o bias/offset/intercept.

pesos : determinam o efeito de cada recurso no alvo.
bias : determina o valor do alvo quando todos os recursos são zero.

O objetivo da regressão é encontrar w e b que tornem as previsões de nosso modelo o mais próximo possível dos valores reais (preços) e produzam o menor erro .

Usaremos a fórmula vetorizada, consulte a seção 2.1.4 do livro para entender a transmissão.

5- Função Perda

A função de perda é uma medida de qualidade para o significado do modelo, ela quantifica a distância entre os valores reais e preditos do alvo.
O valor de perda é um número não negativo em que valores menores são melhores e previsões perfeitas dão uma perda de 0.

A função de perda mais comum para regressão é o erro quadrado dado por

• grandes diferenças entre y-hat e y levam a sensibilidade excessiva a anomalias, mas também incentiva o modelo a evitar grandes erros.

Como dissemos antes, o objetivo do processo de treinamento é encontrar w e b que minimizem a perda total para toda a amostra de treinamento

6- Solução Analítica

Precisamos de um método para atualizar o modelo para melhorar sua qualidade e ao contrário da maioria dos modelos a regressão linear é considerada um problema de fácil otimização, precisamos aplicar os seguintes passos:

1. Adicione b a w acrescentando uma coluna para b na matriz w.
2. Em seguida, o objetivo da previsão é minimizar ||y-Xw||² >> x deve ser de classificação completa, o que significa que nenhum recurso é linearmente dependente de outros recursos.
3. Haverá apenas um ponto crítico na superfície de perda e corresponde à perda mínima em todo o domínio.
4. Pegue a derivada da perda em relação a w e iguale a zero

Observe que o requisito de uma solução analítica é tão restritivo que excluiria quase todos os aspectos empolgantes do aprendizado profundo.

É isso espero que tenham gostado! Na próxima parte, explorarei com você as páginas 86–92.