{"id":3766,"date":"2024-10-02T15:21:49","date_gmt":"2024-10-02T15:21:49","guid":{"rendered":"https:\/\/techhub.saworks.io\/?p=3766"},"modified":"2025-06-20T14:58:51","modified_gmt":"2025-06-20T14:58:51","slug":"combler-les-lacunes-un-guide-comparatif-des-techniques-dimputation-en-machine-learning","status":"publish","type":"post","link":"https:\/\/techhub.saworks.io\/fr\/combler-les-lacunes-un-guide-comparatif-des-techniques-dimputation-en-machine-learning\/","title":{"rendered":"Combler les lacunes : Un guide comparatif des techniques d’imputation en Machine Learning"},"content":{"rendered":"\n

Dans notre pr\u00e9c\u00e9dente analyse des mod\u00e8les de r\u00e9gression p\u00e9nalis\u00e9e (comme Lasso<\/strong>, Ridge<\/strong> et ElasticNet<\/strong>), nous avons montr\u00e9 leur efficacit\u00e9 pour g\u00e9rer la multicolin\u00e9arit\u00e9<\/strong>, permettant d’exploiter un \u00e9ventail plus large de caract\u00e9ristiques et d’am\u00e9liorer les performances des mod\u00e8les.<\/p>\n\n\n\n

Nous abordons aujourd\u2019hui un autre aspect cl\u00e9 du pr\u00e9traitement des donn\u00e9es : la gestion des valeurs manquantes<\/strong>. Ces lacunes peuvent grandement compromettre la pr\u00e9cision<\/strong> et la fiabilit\u00e9<\/strong> des mod\u00e8les si elles ne sont pas trait\u00e9es correctement.<\/p>\n\n\n\n

Cet article explore diff\u00e9rentes strat\u00e9gies d’imputation<\/strong> pour traiter les donn\u00e9es manquantes et les int\u00e9grer \u00e0 notre pipeline. Cette approche nous permettra d\u2019affiner encore notre pr\u00e9cision pr\u00e9dictive<\/strong> en r\u00e9int\u00e9grant des caract\u00e9ristiques pr\u00e9c\u00e9demment exclues, tirant ainsi pleinement parti de la richesse de notre jeu de donn\u00e9es.<\/p>\n\n\n\n

Commen\u00e7ons sans plus attendre.<\/strong><\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Vue d’ensemble<\/strong><\/h3>\n\n\n\n

Cet article est divis\u00e9 en trois parties :<\/p>\n\n\n\n

    \n
  1. Reconstruction de l’imputation manuelle avec SimpleImputer<\/strong><\/li>\n\n\n\n
  2. Perfectionnement des techniques d’imputation avec IterativeImputer<\/strong><\/li>\n\n\n\n
  3. Exploitation des relations de voisinage via l’imputation KNN<\/strong><\/li>\n<\/ol>\n\n\n\n

    Reconstruction de l’imputation manuelle avec SimpleImputer<\/strong><\/h3>\n\n\n\n

    Dans cette premi\u00e8re partie, nous revisitons et automatisons<\/strong> nos techniques d’imputation manuelle en utilisant SimpleImputer<\/code>.<\/p>\n\n\n\n

    Lors de notre pr\u00e9c\u00e9dente analyse du jeu de donn\u00e9es Ames Housing<\/strong>, nous avions explor\u00e9 des strat\u00e9gies manuelles adapt\u00e9es \u00e0 chaque type de donn\u00e9e :<\/p>\n\n\n\n

      \n
    • Variables cat\u00e9gorielles<\/strong> (ex. : PoolQC<\/code>) : Les valeurs manquantes indiquaient souvent l’absence d’une caract\u00e9ristique (ici, l’absence de piscine). Nous les avons remplac\u00e9es par \"None\"<\/code> pour pr\u00e9server l’int\u00e9grit\u00e9 des donn\u00e9es.<\/li>\n\n\n\n
    • Variables num\u00e9riques<\/strong> : Imputation par la moyenne<\/strong> ou d’autres m\u00e9thodes statistiques.<\/li>\n<\/ul>\n\n\n\n

      D\u00e9sormais, avec SimpleImputer<\/code> de scikit-learn<\/strong>, nous automatisons<\/strong> ces processus pour gagner en :<\/p>\n\n\n\n

        \n
      • Reproductibilit\u00e9<\/strong><\/li>\n\n\n\n
      • Efficacit\u00e9<\/strong><\/li>\n<\/ul>\n\n\n\n

        # Import the necessary libraries import pandas as pd from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.preprocessing import StandardScaler, OneHotEncoder, FunctionTransformer from sklearn.linear_model import Lasso, Ridge, ElasticNet from sklearn.model_selection import cross_val_score # Load the dataset Ames = pd.read_csv(‘Ames.csv’) # Exclude ‘PID’ and ‘SalePrice’ from features and specifically handle the ‘Electrical’ column numeric_features = Ames.select_dtypes(include=[‘int64’, ‘float64’]).drop(columns=[‘PID’, ‘SalePrice’]).columns categorical_features = Ames.select_dtypes(include=[‘object’]).columns.difference([‘Electrical’]) electrical_feature = [‘Electrical’] # Specifically handle the ‘Electrical’ column # Helper function to fill ‘None’ for missing categorical data def fill_none(X): return X.fillna(\u00ab\u00a0None\u00a0\u00bb) # Pipeline for numeric features: Impute missing values then scale numeric_transformer = Pipeline(steps=[ (‘impute_mean’, SimpleImputer(strategy=’mean’)), (‘scaler’, StandardScaler()) ]) # Pipeline for general categorical features: Fill missing values with ‘None’ then apply one-hot encoding categorical_transformer = Pipeline(steps=[ (‘fill_none’, FunctionTransformer(fill_none, validate=False)), (‘onehot’, OneHotEncoder(handle_unknown=’ignore’)) ]) # Specific transformer for ‘Electrical’ using the mode for imputation electrical_transformer = Pipeline(steps=[ (‘impute_electrical’, SimpleImputer(strategy=’most_frequent’)), (‘onehot_electrical’, OneHotEncoder(handle_unknown=’ignore’)) ]) # Combined preprocessor for numeric, general categorical, and electrical data preprocessor = ColumnTransformer( transformers=[ (‘num’, numeric_transformer, numeric_features), (‘cat’, categorical_transformer, categorical_features), (‘electrical’, electrical_transformer, electrical_feature) ]) # Target variable y = Ames[‘SalePrice’] # All features X = Ames[numeric_features.tolist() + categorical_features.tolist() + electrical_feature] # Define the model pipelines with preprocessor and regressor models = { ‘Lasso’: Lasso(max_iter=20000), ‘Ridge’: Ridge(), ‘ElasticNet’: ElasticNet() } results = {} for name, model in models.items(): pipeline = Pipeline(steps=[ (‘preprocessor’, preprocessor), (‘regressor’, model) ]) # Perform cross-validation scores = cross_val_score(pipeline, X, y) results[name] = round(scores.mean(), 4) # Output the cross-validation scores print(\u00ab\u00a0Cross-validation scores with Simple Imputer:\u00a0\u00bb, results)<\/p>\n\n\n\n

        Les r\u00e9sultats de cette impl\u00e9mentation sont pr\u00e9sent\u00e9s ci-dessous, illustrant comment l’imputation simple<\/strong> influence la pr\u00e9cision du mod\u00e8le et \u00e9tablit une r\u00e9f\u00e9rence<\/strong> pour les m\u00e9thodes plus sophistiqu\u00e9es abord\u00e9es ult\u00e9rieurement :<\/p>\n\n\n\n

        Cross-validation scores with Simple Imputer: {‘Lasso’: 0.9138, ‘Ridge’: 0.9134, ‘ElasticNet’: 0.8752}<\/p>\n\n\n\n

        Le remplacement des m\u00e9thodes manuelles par une approche pipeline<\/strong> am\u00e9liore significativement le traitement des donn\u00e9es :<\/p>\n\n\n\n

          \n
        1. Efficacit\u00e9 et r\u00e9duction des erreurs<\/strong>\n
            \n
          • L’imputation manuelle est chronophage et sujette aux erreurs, surtout avec des donn\u00e9es complexes.<\/li>\n\n\n\n
          • Le pipeline automatise<\/strong> ces \u00e9tapes, garantissant des transformations coh\u00e9rentes<\/strong> et minimisant les risques d’erreurs.<\/li>\n<\/ul>\n<\/li>\n\n\n\n
          • R\u00e9utilisabilit\u00e9 et int\u00e9gration<\/strong>\n
              \n
            • Les m\u00e9thodes manuelles sont peu r\u00e9utilisables.<\/li>\n\n\n\n
            • Les pipelines int\u00e8grent<\/strong> l’ensemble du pr\u00e9traitement et de la mod\u00e9lisation, les rendant facilement r\u00e9utilisables<\/strong> et compatibles avec l’entra\u00eenement des mod\u00e8les.<\/li>\n<\/ul>\n<\/li>\n\n\n\n
            • Pr\u00e9vention des fuites de donn\u00e9es<\/strong>\n
                \n
              • L’imputation manuelle peut involontairement inclure des donn\u00e9es de test lors du calcul des valeurs (ex. : moyenne calcul\u00e9e sur l’ensemble du dataset).<\/li>\n\n\n\n
              • Les pipelines \u00e9liminent ce risque via la m\u00e9thodologie fit\/transform<\/strong>, en s’appuyant uniquement sur le jeu d’entra\u00eenement<\/strong>.<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n\n\n\n

                Flexibilit\u00e9 d\u00e9montr\u00e9e avec SimpleImputer<\/strong><\/h3>\n\n\n\n

                Cette structure, illustr\u00e9e ici avec SimpleImputer<\/code>, offre une approche modulable<\/strong> pour le pr\u00e9traitement, adaptable \u00e0 diverses strat\u00e9gies d’imputation. Dans les sections suivantes, nous explorerons des techniques plus avanc\u00e9es et leur impact sur les performances des mod\u00e8les.<\/p>\n\n\n\n

                2. Perfectionnement des techniques d’imputation avec IterativeImputer<\/strong><\/h3>\n\n\n\n

                Dans cette deuxi\u00e8me partie, nous testons IterativeImputer<\/code>, une m\u00e9thode d’imputation plus sophistiqu\u00e9e<\/strong> qui mod\u00e9lise chaque caract\u00e9ristique avec valeurs manquantes comme une fonction des autres caract\u00e9ristiques<\/strong> (approche round-robin<\/em>).<\/p>\n\n\n\n

                Contraste avec les m\u00e9thodes simples<\/strong><\/h4>\n\n\n\n
                  \n
                • Les approches basiques (ex. : moyenne\/m\u00e9diane) appliquent une statistique globale<\/strong>.<\/li>\n\n\n\n
                • IterativeImputer<\/code> utilise une r\u00e9gression<\/strong> : chaque caract\u00e9ristique incompl\u00e8te devient une variable d\u00e9pendante<\/strong> pr\u00e9dite par les autres.<\/li>\n<\/ul>\n\n\n\n

                  # Import the necessary libraries import pandas as pd from sklearn.pipeline import Pipeline from sklearn.experimental import enable_iterative_imputer # This line is needed for IterativeImputer from sklearn.impute import SimpleImputer, IterativeImputer from sklearn.compose import ColumnTransformer from sklearn.preprocessing import StandardScaler, OneHotEncoder, FunctionTransformer from sklearn.linear_model import Lasso, Ridge, ElasticNet from sklearn.model_selection import cross_val_score # Load the dataset Ames = pd.read_csv(‘Ames.csv’) # Exclude ‘PID’ and ‘SalePrice’ from features and specifically handle the ‘Electrical’ column numeric_features = Ames.select_dtypes(include=[‘int64’, ‘float64’]).drop(columns=[‘PID’, ‘SalePrice’]).columns categorical_features = Ames.select_dtypes(include=[‘object’]).columns.difference([‘Electrical’]) electrical_feature = [‘Electrical’] # Specifically handle the ‘Electrical’ column # Helper function to fill ‘None’ for missing categorical data def fill_none(X): return X.fillna(\u00ab\u00a0None\u00a0\u00bb) # Pipeline for numeric features: Iterative imputation then scale numeric_transformer_advanced = Pipeline(steps=[ (‘impute_iterative’, IterativeImputer(random_state=42)), (‘scaler’, StandardScaler()) ]) # Pipeline for general categorical features: Fill missing values with ‘None’ then apply one-hot encoding categorical_transformer = Pipeline(steps=[ (‘fill_none’, FunctionTransformer(fill_none, validate=False)), (‘onehot’, OneHotEncoder(handle_unknown=’ignore’)) ]) # Specific transformer for ‘Electrical’ using the mode for imputation electrical_transformer = Pipeline(steps=[ (‘impute_electrical’, SimpleImputer(strategy=’most_frequent’)), (‘onehot_electrical’, OneHotEncoder(handle_unknown=’ignore’)) ]) # Combined preprocessor for numeric, general categorical, and electrical data preprocessor_advanced = ColumnTransformer( transformers=[ (‘num’, numeric_transformer_advanced, numeric_features), (‘cat’, categorical_transformer, categorical_features), (‘electrical’, electrical_transformer, electrical_feature) ]) # Target variable y = Ames[‘SalePrice’] # All features X = Ames[numeric_features.tolist() + categorical_features.tolist() + electrical_feature] # Define the model pipelines with preprocessor and regressor models = { ‘Lasso’: Lasso(max_iter=20000), ‘Ridge’: Ridge(), ‘ElasticNet’: ElasticNet() } results_advanced = {} for name, model in models.items(): pipeline = Pipeline(steps=[ (‘preprocessor’, preprocessor_advanced), (‘regressor’, model) ]) # Perform cross-validation scores = cross_val_score(pipeline, X, y) results_advanced[name] = round(scores.mean(), 4) # Output the cross-validation scores for advanced imputation print(\u00ab\u00a0Cross-validation scores with Iterative Imputer:\u00a0\u00bb, results_advanced)<\/p>\n\n\n\n

                  Bien que les gains de pr\u00e9cision apport\u00e9s par IterativeImputer<\/strong> par rapport \u00e0 SimpleImputer soient modestes, ils soulignent un aspect crucial de l’imputation de donn\u00e9es : la complexit\u00e9 et les interd\u00e9pendances<\/strong> pr\u00e9sentes dans un jeu de donn\u00e9es ne garantissent pas syst\u00e9matiquement une am\u00e9lioration spectaculaire des performances, m\u00eame avec des m\u00e9thodes plus sophistiqu\u00e9es.<\/p>\n\n\n\n

                  Cross-validation scores with Iterative Imputer: {‘Lasso’: 0.9142, ‘Ridge’: 0.9135, ‘ElasticNet’: 0.8746}<\/p>\n\n\n\n

                  Exploitation des relations de voisinage avec l’imputation KNN<\/strong><\/h3>\n\n\n\n

                  Dans cette derni\u00e8re partie, nous explorons KNNImputer<\/strong>, une m\u00e9thode qui impute les valeurs manquantes en utilisant la moyenne des k-plus proches voisins<\/strong> identifi\u00e9s dans l’ensemble d’entra\u00eenement.<\/p>\n\n\n\n

                  Fondement th\u00e9orique<\/strong><\/h4>\n\n\n\n

                  Cette approche repose sur l’hypoth\u00e8se que des donn\u00e9es similaires<\/strong> se trouvent \u00e0 proximit\u00e9 dans l’espace des caract\u00e9ristiques. Elle s’av\u00e8re particuli\u00e8rement efficace pour les jeux de donn\u00e9es o\u00f9 cette hypoth\u00e8se est v\u00e9rifi\u00e9e.<\/p>\n\n\n\n

                  Cas d’usage privil\u00e9gi\u00e9s<\/strong><\/h4>\n\n\n\n

                  L’imputation KNN est puissante dans les sc\u00e9narios o\u00f9 :<\/p>\n\n\n\n