Regresión logística en profundidad

Una técnica estadística muy apreciada para abordar problemas de clasificación en el aprendizaje automático es la regresión logística. La regresión logística es un método para predecir resultados binarios, como "sí" o "no" o "verdadero" o "falso", a diferencia de la regresión lineal, que se utiliza para predecir resultados continuos. La función logística, que convierte cualquier entrada con un valor real en un número entre 0 y 1, sirve como base para el modelo de regresión logística. Daremos una explicación detallada de la regresión logística en esta publicación, cubriendo su fundamento matemático y su derivación. Primero, comenzaremos con la función sigmoidea y luego hablaremos sobre el modelo de regresión logística. Sin embargo, si desea obtener más información sobre las funciones de activación, consulte este artículo.

Funciones de activación en aprendizaje automático

La función sigmoidea

Una expresión matemática llamada función sigmoidea convierte cualquier entrada de valor real en un número entre 0 y 1 y también se conoce como función logística. La función sigmoidea se puede definir de la siguiente manera:

dónde:

• z denota una línea de clasificación que se asemeja a una regresión lineal,
• e es la base del logaritmo natural.

En las redes neuronales artificiales, la función sigmoidea se utiliza con frecuencia como función de activación. Según sus entradas y pesos, la salida de una neurona está determinada por una función de activación en una red neuronal. La red neuronal se usa ampliamente en el aprendizaje automático, pero no la discutiremos en este artículo. Si desea obtener más información, consulte este artículo ( que se publicará ).

El modelo de regresión logística

El modelo de regresión logística hace predicciones sobre la probabilidad de un resultado binario (verdadero/falso o sí/no) en función de una o más características de entrada mediante una función logística. La probabilidad proyectada de la clase positiva está representada por la salida de la función logística, que varía de 0 a 1. La observación se clasifica como positiva si la probabilidad pronosticada excede el umbral, que comúnmente se establece en 0,5, para determinar la probabilidad pronosticada. clase. Al reducir la probabilidad logarítmica negativa de los datos, que refleja la disparidad entre las probabilidades anticipadas y las etiquetas de clase reales, se optimizan los coeficientes del modelo de regresión logística. La función de costo para la regresión logística a menudo se denomina pérdida de entropía cruzada binaria.

La función de error de entropía cruzada binaria

Una función de pérdida común en el aprendizaje automático, especialmente para problemas de clasificación binaria, es la función de error de entropía cruzada binaria. Calcula la diferencia entre la etiqueta verdadera de una variable objetivo binaria y la probabilidad anticipada. En la clasificación binaria, el objetivo es predecir la probabilidad de la variable objetivo dado un conjunto de características. La variable objetivo solo puede tomar dos valores, como 0 y 1. La función de error de entropía cruzada binaria se define de la siguiente manera:

dónde:

• y_n es la probabilidad predicha para la clase positiva,
• t_n es la etiqueta verdadera, ya sea 0 o 1,
• y J es una función objetivo que tratamos de minimizar o maximizar z e.

No obstante, utilizaremos la derivada parcial de la función de error de entropía cruzada binaria con respecto a los parámetros para determinar los coeficientes del modelo de regresión logística para valores óptimos. Comencemos derivando parcialmente la función de costo para encontrar los valores óptimos de los pesos de la regresión logística. Podemos empezar por determinar la derivada de J con respecto a y_n. Después de eso, podemos encontrar la derivada de y_n con respecto a la entrada de la función sigmoidea, que sirve como función de activación de la regresión logística, y luego podemos derivar la derivada de a con respecto a los pesos.

Después de eso, podemos obtener la expresión para determinar el valor ideal del término de sesgo, donde el sesgo generalmente se establece en 1. Además, el sesgo se puede incluir en los pesos al incluir un valor de 1.

Luego de obtener las expresiones de los parámetros de búsqueda, podemos pasar a la implementación en el lenguaje de programación python.

import numpy as np

N = 100

def sigmoid_function(an):
    return 1/(1 + np.exp(-an))

def binary_cross_entropy(T, Y):
    E = 0
    for i in range(len(T)):
        if T[i] == 1:
            E -= np.log(Y[i])
        else:
            E -= np.log(1 - Y[i])
    return E

#short overwiev of updating process of w's
learning_rate = 0.01
for i in range(N):
    # gradient descent weight udpate
    w += learning_rate * Xb.T.dot(Y - T)

    # recalculate Y
    Y = sigmoid(Xb.dot(w))

from sklearn.linear_model import LogisticRegression

clf = LogisticRegression(random_state=0).fit(X, y)
clf.predict_proba(X)
clf.score(X, y)

Agregar un término de penalización también permite modificar la función de costo. El sobreajuste se puede evitar en la regresión logística y la regresión lineal mediante la regularización. Este término fomenta que los coeficientes tengan magnitudes pequeñas, reduciendo su impacto en las predicciones del modelo. La penalización por regularización L1, también llamada Lasso, es igual al valor absoluto de los coeficientes, pero la penalización por regularización L2, también llamada Ridge, es igual al cuadrado de los coeficientes. Estos dos métodos de regularización son típicos y discutiremos estos dos métodos de regularización en el próximo artículo ( a ser publicado ).

Clasificación multiclase

Los problemas de clasificación de clases múltiples, donde el resultado puede tener más de dos valores, se pueden manejar mediante una extensión de la regresión logística. Por lo general, se entrenan varios modelos de regresión logística binaria, uno para cada clase, utilizando el método uno contra todos o uno contra el resto. Luego se hace el pronóstico para la clase con la mayor probabilidad anticipada.

Limitación

Debido al hecho de que la regresión logística utiliza un modelo lineal, puede que no sea adecuada para los datos cuando existen correlaciones complejas entre las variables independientes y el resultado binario. Además, la regresión logística no ofrece una estimación de la varianza de las probabilidades previstas, lo cual es importante para comprender y evaluar el modelo.

Si te gusta el artículo, asegúrate de seguirme para ver mis nuevos artículos.