Modelo linear com efeitos aditivos e multiplicativos

Question

Na regressão linear, as variáveis ​​independentes têm um efeito aditivo na resposta (regressão de nível):

$y=\beta_0+\beta_1x+\epsilon$

Em uma regressão de nível de log, as variáveis ​​independentes têm um efeito aditivo na resposta transformada por log e um efeito multiplicativo na resposta não transformada original:

$log(y)=\beta_0+\beta_1x+\epsilon$

Suponha que eu saiba para cada preditor se ele tem um efeito aditivo ou multiplicativo sobre a resposta e que preciso estimar esses efeitos por meio de mínimos quadrados ordinários. Como posso especificar a fórmula do modelo para estimar corretamente esses efeitos?

Answer 1

Você pode usar a regressão linear para modelar qualquer relação linear / não linear usando expansão de base (slides de Elementos de aprendizado estatístico). No seu caso, você provavelmente poderia exponenciar algumas das variáveis, mas pode ser preferível usar um método automático, como Splines de regressão adaptativa multivariada , que ainda fornece resultados interpretáveis.

Answer 2

Não acredito que seja possível, em geral, fazer isso com mínimos quadrados comuns, já que OLS é, no fundo, um truque para calcular $\hat \beta$ dentro $E[y] = \bf{X}\hat\beta$ usando a divisão da matriz.

Isso pode ser feito de forma mais geral, no entanto.

Acho que a parte complicada é descobrir exatamente o que você quer dizer com cada preditor tendo um efeito aditivo ou multiplicativo na resposta . Por exemplo, com dois preditores, você quer dizer:

$$ y = (\beta_0 \times \beta_2 x_2) + \beta_1 x_1 ?\\ y = (\beta_0 + \beta_1 x_1) \times \beta_2 x_2 ?\\ y = \beta_0 + (\beta_1 x_1 \times \beta_2 x_2) ? \\ $$

... e provavelmente há outros também. Destes, o primeiro (multiplicação antes de aplicar os efeitos aditivos) é o mais simples de estimar, pois tem menos termos multiplicativos de alta ordem e é mais provável que corresponda ao modelo pretendido.

Infelizmente, mesmo isso não é simples de estimar, uma vez que as previsões com $\beta_0 = 2, \beta_2 = 2$ → $y = (2 \times 2 \times x_2) + \beta_1 x_1$ são iguais àqueles quando
$\beta_0 = 1, \beta_2 = 4$ → $y = (1 \times 4 \times x_2) + \beta_1 x_1$.

A melhor maneira de contornar isso é usar uma ferramenta de estimativa Bayesiana como Stan para definir antecedentes razoáveis ​​em seus parâmetros de modelo (por exemplo, o efeito multiplicativo, $\beta_2$, deve ser próximo a 1) e encontrar as melhores estimativas de parâmetros consistentes com essas anteriores.