LogisticRegression con GridSearchCV no convergiendo

Oct 05 2020

Estoy tratando de encontrar los mejores parámetros para una regresión logística, pero encuentro que el "mejor estimador" no converge.

¿Hay alguna forma de especificar que el estimador necesita converger para tenerlo en cuenta?

Aquí está mi código.

# NO PCA
cv = GroupKFold(n_splits=10)
pipe = Pipeline([('scale', StandardScaler()),
    ('mnl', LogisticRegression(fit_intercept=True, multi_class="multinomial"))])

param_grid = [{'mnl__solver': ['newton-cg', 'lbfgs','sag', 'saga'],
               'mnl__C':[0.5,1,1.5,2,2.5],
               'mnl__class_weight':[None,'balanced'],
              'mnl__max_iter':[1000,2000,3000],
              'mnl__penalty':['l1','l2']}]

grid = GridSearchCV(estimator = pipe, param_grid=param_grid, scoring=scoring, n_jobs=-1, refit='neg_log_loss', cv=cv, verbose=2, return_train_score=True)

grid.fit(X, y, groups=data.groups)


# WITH PCA
pipe = Pipeline([(
    ('scale', StandardScaler()),
    ('pca', PCA())
    ('mnl', mnl)])

param_grid = [{'pca__n_components':[None,15,30,45,65]
            'mnl__solver': ['newton-cg', 'lbfgs','sag', 'saga'],
              'mnl__max_iter':[1000,2000,3000],
             'mnl__C':[0.5,1,1.5,2,2.5],
              'mnl__class_weight':[None,'balanced'],
              'mnl__penalty':['l1','l2']}]

grid = GridSearchCV(estimator = pipe, param_grid=param_grid, scoring='neg_log_loss', n_jobs=-1, refit=True, cv=cv, verbose=2)

grid.fit(X, y, groups=data.groups)

En el primer caso, el mejor estimador encontrado es con un solucionador de 12 lbfgs, con 1000 iteraciones, y converge. El segundo, el mejor estimador encontrado es con solucionador de saga y penalización l1, 3000 iteraciones. Siento que tiene que ver con el solucionador ... pero de todos modos, ¿hay una forma sencilla de decir que tiene que converger para aceptarlo como mejor?

Respuestas

2 BenReiniger Oct 05 2020 at 09:17

No aconsejaría hacer esa restricción. Si el solucionador no converge solo significa que no ha alcanzado el óptimo global * dentro de la tolerancia especificada . Si obtiene mejores puntajes de validación cruzada, probablemente debería estar "lo suficientemente cerca" de ese nivel óptimo para no preocuparse por ello. Aumente max_iterpara la reparación, si lo desea.
* (En la regresión logística, la pérdida es convexa, por lo que solo hay un óptimo global, salvo características colineales o una separación perfecta).

En un espíritu similar, no buscaría sobre solucionadores (excepto tal vez como una forma conveniente de lidiar con diferentes solucionadores que sean capaces de usar diferentes penalizaciones de regularización), o el número máximo de iteraciones. Después de fijar el tipo de regularización y la fuerza, hay coeficientes óptimos únicos (nuevamente, salvo casos degenerados), y ejecutar diferentes solucionadores debería producir los mismos resultados a menos que (1) el solucionador se salga de los rieles de alguna manera, o (2) la diferencia en la precisión cause algunos diferencia. Y el número de iteraciones debe establecerse lo suficientemente alto para alcanzar la convergencia (tenga en cuenta que es el número "máximo" de iteraciones; si un solucionador se encuentra dentro de su tolerancia antes de eso, no seguirá funcionando).

skeerp Oct 05 2020 at 07:26

Es más que probable que se deba a que sus datos no son apropiados para este enfoque, en lugar de que su código sea incorrecto. Especialmente porque no está construyendo su propia plata ni nada, realmente verificaría sus datos más a fondo.