o que é derivado de $\exp(X\beta)$ wrt $\beta$

Question

Estou usando o layout do denominador, ou seja, $$\frac{\partial X\beta}{\partial \beta} = X^T,$$ Onde $X$ é $n\times p$ e $\beta$ é $p\times 1$.

Qual é o resultado de $$\frac{\partial \exp(X\beta)}{\partial \beta} \text{ ?}$$

Desde a $\exp(X\beta)$ é $n\times1$ e $\beta$ é $p\times 1$, a derivada deve ser um $p\times n$matriz. No entanto, foi isso que deduzi:

$$\frac{\partial \exp(X\beta)}{\partial \beta} = \frac{\partial X\beta}{\partial \beta}\frac{\partial \exp(X\beta)}{\partial X\beta} = X^T\exp(X\beta),$$ que é um $p\times1$. Onde eu cometi um erro?

Answer 1

Esta é uma aplicação da regra da cadeia:

$$f(\mathbf{x})=[e^{x_1},\ldots,e^{x_n}]^\intercal$$ $$f'(\mathbf{x})=\operatorname{diag}(e^{x_1},\ldots,e^{x_n})$$

Denotando o $i$-ésima linha de $X$ de $\mathbf{x}_i$, $1\leq i\leq n$, $$g(\boldsymbol{\beta})=X\boldsymbol{\beta}=[\mathbf{x}^\top_1\boldsymbol{\beta},\ldots,\mathbf{x}^\top_n\boldsymbol{\beta}]^\intercal$$ $$g'(\boldsymbol{\beta})=X$$

nós obtemos $$h(\boldsymbol{\beta})=f\circ g(\boldsymbol{\beta})=[\exp(\mathbf{x}^\top_1\boldsymbol{\beta}),\ldots,\exp(\mathbf{x}^\top_n\boldsymbol{\beta})]^\intercal$$

e entao,

$$ \begin{align} h'(\boldsymbol{\beta})&=f'(g(\boldsymbol{\beta}))\,g'(\boldsymbol{\beta})=\operatorname{diag}\big(\exp(\mathbf{x}^\top_1\boldsymbol{\beta}),\ldots,\exp(\mathbf{x}^\top_n\boldsymbol{\beta})\big)\,X\\ &=\begin{pmatrix} e^{\mathbf{x}_1^\top\beta}x_{11} &\ldots&e^{\mathbf{x}_1^\top\beta}x_{1p}\\ \vdots & \vdots & \vdots\\ e^{\mathbf{x}^\top_n\beta}x_{n1} &\ldots& e^{\mathbf{x}^\top_n\beta}x_{np} \end{pmatrix} \end{align} $$

A última matriz pode ser expressa de forma mais compacta em termos de produto Kronecker, muito utilizado em linguagens de alto nível como MatLab, R, etc.

Answer 2

Para maior comodidade de digitação, defina os vetores $$\eqalign{ y &= X\beta \quad&\implies\quad &dy = X\,d\beta \\ e &= \exp(y) \quad&\implies\quad &E = {\rm Diag}(e) \\ }$$ O diferencial de uma função elementwise requer um produto elementwise / Hadamard, que pode ser substituído pelo produto padrão com uma matriz diagonal. $$\eqalign{ de &= e\odot dy = E\,dy \\ }$$ Substituto $dy\,$ obter $$\eqalign{ de &= EX\,d\beta \\ \frac{\partial e}{\partial\beta} &= EX \\ }$$ Ou em sua convenção de layout preferida $\,X^TE^T$ $$\eqalign{ }$$