Cómo construir un modelo generativo cuando tenemos más de una variable

Oct 12 2020

Tengo un marco de datos que se parece a esto:

A,B and Cse puede suponer que es la featuresliteratura de aprendizaje automático. He leído la estimación de máxima verosimilitud para la 1variable asumiendo una distribución gaussiana.

La ecuación es algo así como, donde xi's arecada punto de datos:

Donde x1,x2....xnhay n puntos de datos que tienen cada uno dimension 3. Si asumimos que p (x) es gaussiano, entonces podemos usar el gaussiano Normal distribution equationcomo:

Esto es muy comprensible si solo tenemos 1 feature.

¿Cómo puedo generalizar la ecuación de distribución normal anterior cuando tenemos more than 1 features, aquí tenemos? 3 features?¿Alguien me puede ayudar a escribir la probabilidad máxima para el marco de datos anterior?

¿Aprendemos mu and sigmapara cada característica A,B and Cque es un total de 6 parámetros aprendibles?

Si tenemos 3 distribuciones diferentes, digamos Normal, exponencial, etc. para columnas A,B and C, ¿cómo se ve la ecuación MLE en todo el marco de datos?

Si lo hacemos argmax of equation 1, no necesitamos la verdad fundamental para ello. ¿derecho? ¿Estamos maximizando la ecuación?

Respuestas

aranglol Oct 12 2020 at 10:39

Primero, me gustaría aclarar. La función de máxima verosimilitud que proporcionó NO es con respecto a "una característica". O al menos, no tiene sentido pensar en esto como una "característica" porque en su ejemplo, en realidad evaluaría la función de loglikelihood en valores observados de ynot x. No está utilizando sus variables xpara explicar nada sobre y. La estimación de máxima verosimilitud resultante que obtendría para$\mu$ sería $\bar x$, la media muestral de su variable objetivo y.

Ahora, suponga que realmente desea usar x(sus funciones) para predecir ycomo en el caso del aprendizaje supervisado. Luego, como mencioné en sus comentarios, debe especificar dos cosas: el predictor o la función del modelo, que se denota típicamente como$\hat f(X)$ y la "función de enlace", denotada como $g$.

$\hat f(X)$ es una función de sus variables predictoras de manera que:

$$g(E[Y|X]) = \hat f(X)$$

En tu caso, $E[Y | X] = \mu $ya que tienes una distribución Normal. Por eso,

$$g(\mu) = \hat f(X) \rightarrow \mu = g^{-1}(\hat f(X))$$

Ahora, en términos de elegir $\hat f(X) $, esto depende de tus objetivos y de lo complicado que quieras llegar. Independientemente, esta es una función que puede asumir cualquier número real. En el caso estándar (digamos en regresión lineal), estableces$\hat f(X) = B_{0} + B_{1}X_{1} + B_{2}X_{2} + B_{3}X_{3}.$ Hay otros ejemplos en los que escribir $\hat f(X)$es imposible o tedioso, por ejemplo, en el caso de árboles de aumento de gradiente o redes neuronales profundas. Otros algoritmos pueden establecer$\hat f(X) = B_{0} + h_1(x_{1}) + h_2(x_{2}) + h_3(x_{3})$ dónde $h_{i}$son funciones suaves. Realmente depende nuevamente de cuán complicado desee volverse y cuán interpretables necesite que sean sus modelos.

Con respecto a g, la "función de enlace", casi siempre se elige según el rango de la variable de respuesta o el rango del parámetro con el que se está vinculando ($\mu$en tu caso). En su caso, dado que la distribución normal puede tomar cualquier número real, la mayoría de las veces$g$ se elige como función de identidad ya que $\hat f(X)$naturalmente ya puede asumir cualquier número real. Esto lleva a:

$$\mu = B_{0} + B_{1}X_{1} + B_{2}X_{2} + B_{3}X_{3}.$$

Finalmente, cuando se trata de su función de probabilidad:

$$p(Y) = constant * \prod_{i = 1}^{n} e^{\frac{-1}{2}\frac{(y_{i} - (B_{0} + B_{1}X_{1} + B_{2}X_{2} + B_{3}X_{3}))^2}{\sigma^2}} $$

Resolver esta ecuación le proporcionará las estimaciones de mínimos cuadrados ordinarios que estoy seguro de que ha visto antes. Por supuesto, elegir un diferente$\hat f(X)$ o una diferente $g$Es probable que cambie todo y, a menudo, es posible que ni siquiera obtenga soluciones atractivas de forma cerrada que se obtengan con mínimos cuadrados ordinarios. Esto motiva diferentes métodos de optimización numérica. Sin embargo, los "ingredientes" son los mismos.