8 méthodes de normalisation et standardisation pour machine learning et preprocessing
Ce standardiseur données propose 8 méthodes normalisation standardisation preprocessing machine learning feature scaling comparaison échelles. Z-score standardisation centre données moyenne zéro écart-type unité formule z égal x moins mu divisé sigma distribution normale centrée réduite applications PCA analyse composantes principales régression linéaire SVM support vector machines algorithmes distances euclidiennes sensibles échelles. Min-max normalisation rescaling borne données intervalle 0 1 personnalisable formule x prime égal x moins min divisé max moins min préserve relations ordre distances relatives applications réseaux neurones activation sigmoid tanh gradient descent convergence rapide KNN k plus proches voisins distances normalisées. Robust scaler médiane IQR écart interquartile robuste outliers valeurs extrêmes formule x moins médiane divisé IQR moins sensible valeurs aberrantes préserve distribution centrale applications données financières prix revenus distributions asymétriques queues épaisses. Max absolute scaler divise valeur absolue maximale borne moins 1 1 préserve signes données symétrie zéro centre applications séries temporelles différences rendements matrices creuses sparse preservation structure. Unit vector normalisation L2 norme euclidienne divise racine somme carrés vecteur norme 1 direction conservée magnitude normalisée applications text mining TF-IDF cosine similarity angles vecteurs clustering documents. Decimal scaling déplacement virgule décimale divise puissance 10 borne moins 1 1 simple rapide peu utilisé machine learning moderne. Log transformation logarithme naturel compression grandes valeurs réduction asymétrie positive linéarisation croissance exponentielle applications prix revenus concentrations distributions lognormales séries temporelles stationnarité. Logistic transformation sigmoïde borne 0 1 courbe S inflexion centrale compression extrêmes applications probabilités réseaux neurones activation sortie classification binaire. Graphiques avant après visualisation impact standardisation distribution forme dispersion statistiques descriptives comparaison moyenne médiane écart-type variance quartiles minimum maximum changements quantifiés preprocessing pipeline train test split standardisation après séparation éviter data leakage fuite information.
📚 Best practices machine learning : Toujours standardiser APRÈS séparation train/test jamais avant éviter data leakage fuite information test vers train. Calculer paramètres standardisation moyenne écart-type min max médiane IQR UNIQUEMENT données train puis appliquer mêmes paramètres train données test nouveaux prediction. Z-score utiliser distribution normale gaussienne PCA régression SVM outliers peu nombreux. Min-max utiliser réseaux neurones activation sigmoid tanh bornes 0 1 nécessaires gradient descent optimisé. Robust scaler utiliser outliers nombreux distribution asymétrique données financières mesures biologiques variabilité haute. Validation croisée cross-validation chaque fold standardisation indépendante paramètres fold train appliqués fold validation pas fuite folds. Production sauvegarder paramètres standardisation scaler pickle joblib moyenne écart-type min max appris train application nouveaux données inference jamais recalcul production.
Standardisation (z-score) : centre les données à moyenne=0 et écart-type=1. Conserve la forme de la distribution. Idéal pour PCA, régression, SVM. Normalisation (min-max) : borne les données dans [0, 1]. Préserve les distances relatives. Idéal pour réseaux neurones, KNN. Le choix dépend de l'algorithme et de la distribution.
Utilisez Robust Scaler quand vos données contiennent des outliers nombreux ou une distribution asymétrique. Il utilise la médiane et l'IQR (Q3-Q1) au lieu de la moyenne et l'écart-type, ce qui le rend insensible aux valeurs extrêmes. Idéal pour données financières, mesures biologiques, capteurs IoT.
TOUJOURS APRÈS la séparation train/test ! Calculez les paramètres (moyenne, écart-type, min, max) UNIQUEMENT sur le train, puis appliquez ces mêmes paramètres au test. Sinon, vous créez un data leakage (fuite d'information du test vers le train) qui surestime les performances et nuit à la généralisation.