Comment créer un modèle génératif lorsque nous avons plus d'une variable

Question

J'ai une trame de données qui ressemble à ceci:

A   B   C
1   2   2
2   4   3
4   8   5
9   16  7
16  32  11
22  43  14
28  55  17
34  67  20
40  79  23

A,B and Cpeut être supposé être la featureslittérature sur l'apprentissage automatique. J'ai lu l'estimation du maximum de vraisemblance pour une 1variable supposant une distribution gaussienne.

L'équation est quelque chose comme, où xi's arechaque point de données:

Où x1,x2....xnsont n points de données ayant chacun dimension 3. Si nous supposons que p (x) est gaussien, alors nous pouvons utiliser le gaussien Normal distribution equationcomme:

Ceci est bien compréhensible si nous n'avons que 1 feature.

Comment puis-je généraliser l'équation de distribution normale ci-dessus lorsque nous avons more than 1 features, ici, nous avons 3 features?Quelqu'un peut-il m'aider à écrire le maximum de vraisemblance pour la base de données ci-dessus?

Apprenons -nous mu and sigmapour chaque fonctionnalité un A,B and Ctotal de 6 paramètres apprenables?

Si nous avons 3 distributions différentes, dites Normale, exponentielle et ainsi de suite pour les colonnes, à A,B and Cquoi ressemble l'équation MLE sur l'ensemble de la trame de données?

Si nous le faisons argmax of equation 1, nous n'avons pas besoin de la vérité de terrain pour cela. droite? Nous maximisons simplement l'équation?

Answer 1

Tout d'abord, j'aimerais clarifier. La fonction de maximum de vraisemblance que vous avez donnée ici ne concerne PAS "une caractéristique". Ou à tout le moins, il n'est pas significatif de penser à cela comme une «caractéristique» car dans votre exemple, vous évalueriez en fait la fonction de vraisemblance logarithmique à des valeurs observées de ynon x. Vous n'utilisez pas vos variables xpour expliquer quoi que ce soit y. L'estimation du maximum de vraisemblance que vous obtiendriez pour$\mu$ serait $\bar x$, la moyenne de l'échantillon de votre variable cible y.

Maintenant, supposons que vous souhaitiez réellement utiliser x(vos fonctionnalités) pour prédire, ycomme dans le cas de l'apprentissage supervisé. Ensuite, comme je l'ai mentionné dans vos commentaires, vous devez spécifier deux choses - le prédicteur ou la fonction de modèle, généralement désignée par$\hat f(X)$ et la "fonction de lien", notée $g$.

$\hat f(X)$ est une fonction de vos variables prédictives telles que:

$$g(E[Y|X]) = \hat f(X)$$

Dans ton cas, $E[Y | X] = \mu $puisque vous avez une distribution normale. D'où,

$$g(\mu) = \hat f(X) \rightarrow \mu = g^{-1}(\hat f(X))$$

Maintenant, en termes de choix $\hat f(X) $, cela dépend de vos objectifs et de la complexité que vous souhaitez accomplir. Quoi qu'il en soit, c'est une fonction qui peut prendre n'importe quel nombre réel. Dans le cas standard (disons en régression linéaire), vous définissez$\hat f(X) = B_{0} + B_{1}X_{1} + B_{2}X_{2} + B_{3}X_{3}.$ Il existe d'autres exemples où l'écriture $\hat f(X)$est impossible ou fastidieux, par exemple dans le cas d'arbres boostant le gradient ou de réseaux de neurones profonds. D'autres algorithmes peuvent définir$\hat f(X) = B_{0} + h_1(x_{1}) + h_2(x_{2}) + h_3(x_{3})$ où $h_{i}$sont des fonctions fluides. Cela dépend à nouveau de la complexité que vous souhaitez obtenir et de la capacité d'interprétation dont vous avez besoin pour vos modèles.

En ce qui concerne g, la "fonction de lien", elle est presque toujours choisie en fonction de la plage de la variable de réponse ou de la plage du paramètre avec lequel vous établissez le lien ($\mu$dans ton cas). Dans votre cas, puisque la distribution normale peut prendre n'importe quel nombre réel, la plupart du temps$g$ est choisie comme fonction d'identité puisque $\hat f(X)$naturellement peut déjà prendre n'importe quel nombre réel. Cela mène à:

$$\mu = B_{0} + B_{1}X_{1} + B_{2}X_{2} + B_{3}X_{3}.$$

Enfin, lorsque vous traitez avec votre fonction de vraisemblance:

$$p(Y) = constant * \prod_{i = 1}^{n} e^{\frac{-1}{2}\frac{(y_{i} - (B_{0} + B_{1}X_{1} + B_{2}X_{2} + B_{3}X_{3}))^2}{\sigma^2}} $$

La résolution de cette équation vous fournira les estimations des moindres carrés ordinaires que vous avez sûrement vues auparavant. Bien sûr, choisir un autre$\hat f(X)$ ou un autre $g$changera probablement tout et souvent vous n'obtiendrez même pas de jolies solutions de forme fermée qui sortent avec les moindres carrés ordinaires. Cela motive différentes méthodes d'optimisation numérique. Cependant, les «ingrédients» sont les mêmes.

J'espère que ça aide.