Suppression des lignes manquantes dans deux dataframes

Question

J'ai deux fichiers: Test_data - contient les fonctionnalités d'un ensemble de données pour trouver des prédictions pour Submission_data - contient deux colonnes: la colonne d'index pour les données de test et une autre colonne pour sa valeur prédite correspondante

Je dois donc faire des prédictions sur les données de test et stocker les valeurs prédites dans le fichier de soumission.

Pendant le prétraitement des données de test, je supprime des lignes qui ne contiennent pas de valeurs (NaN) pour au moins 50% des fonctionnalités (colonnes):

test_data = test_data.dropna(thresh=math.ceil(test_data.shape[1]/2))

Maintenant, comment supprimer les lignes correspondantes dans le cadre de données des soumissions? Parce que, si je supprime certaines lignes dans les données de test, je ne peux pas faire de prédiction pour la ligne correspondante dans la trame de données / fichier des soumissions.

Le problème est qu'il existe une colonne Index qui N'A PAS de valeurs UNIQUES (dans les données de test et les données de soumission)

Alors, comment supprimer les lignes des données de soumission qui ont également été supprimées dans les données de test?

Je suis nouveau dans les défis ML et je trouve cela difficile.

Answer 1

Lorsque vous lisez les deux fichiers csv et stockez les données dans deux dataframes, vous pouvez alors les combiner en un dataframe, faire le dropna puis le fractionner. Je vais donner un exemple en utilisant des pandas

importer des pandas en tant que pd df1 = pd.read_csv ('test_data.csv') df2 = pd.read_csv ('submit_data.csv') df3 = pd.concat ([df1, df2], axis = 1) # cela combinera les deux dfs.

reded_data = df3.dropna (thresh = math.ceil (test_data.shape [1] / 2)) predictions = reded_data.loc [:, ['predictions']] reduction_data.drop (columns = ['predictions'], inplace = Vrai)

#au lieu de 'predictions', utilisez le nom de colonne que vous avez pour les prédictions dans le fichier submit_data.csv.

J'espère que cela t'aides.