Automatiser le nettoyage des données grâce à l’IA

La qualité dépend fortement de la qualité des entrées. Avant toute automatisation, une étape de préparation consiste à inventorier les sources, leurs propriétaires et le sens des champs. Un identifiant client n’a pas la même stabilité qu’un email, et une date de commande ne se confond pas avec une date de livraison. Cette clarification réduit les faux positifs des outils IA.

Sur des volumes modestes, une première passe se réalise dans Google Sheets ou un tableur, en auditant les colonnes : formats, encodages, séparateurs décimaux, unités, valeurs interdites et règles de gestion. Sur des sources structurées, l’étape se prolonge en base relationnelle via MySQL en explicitant schémas, clés, contraintes et dictionnaires de valeurs. Dans un contexte analytique, l’alignement sur une logique de Structurer une base de données réduit ensuite les corrections répétées dans chaque rapport.

Un exemple typique apparaît en marketing : des leads issus de formulaires, d’événements et de CRM utilisent des pays en français, en anglais et en abréviation, des numéros de téléphone sans indicatif, et des dates saisies en formats hétérogènes. Une règle utile décrit précisément le format attendu, les valeurs de référence, et ce qui doit être rejeté ou mis en quarantaine. L’IA intervient ensuite pour accélérer la mise en conformité, mais la règle métier reste l’autorité de référence.

La détection d’anomalies s’appuie sur des méthodes robustes : statistiques de distribution, z-score et IQR, isolation forest, autoencodeurs, ou encore détection de ruptures sur séries temporelles. Ces techniques servent à repérer des valeurs improbables (quantité négative, panier anormalement élevé) ou des incohérences (âge incompatible avec un statut, devise manquante, TVA incohérente). L’IA gagne du temps en priorisant les zones à forte probabilité d’erreur plutôt qu’en imposant une revue exhaustive.

Le dédoublonnage est un cas d’usage central. La résolution d’entités utilise du « fuzzy matching » (distance de Levenshtein, Jaro-Winkler), des embeddings, ou des modèles supervisés pour estimer si deux lignes représentent la même entité. Un même client peut apparaître sous « Martin SA », « MARTIN S.A. » et « Martin ». L’IA propose des regroupements, mais une règle de décision est nécessaire : quel champ fait foi, quel seuil de similarité est acceptable, et comment gérer les homonymes.

La vérification visuelle évite des erreurs silencieuses. Un tableau de bord dans Tableau ou un outil de dataviz permet de contrôler l’effet des corrections : baisse du taux de doublons, répartition des catégories, évolution des valeurs extrêmes. Une bonne pratique consiste à garder un échantillon fixe de contrôle, rejoué à chaque itération, afin de mesurer la régression éventuelle lorsque les règles changent.

La correction porte sur plusieurs familles d’actions. La normalisation harmonise la casse, les accents, les formats de date, les codes pays, les unités et les libellés. L’imputation traite les valeurs manquantes, mais elle ne se fait pas « par défaut » : remplacer une valeur manquante par une moyenne peut introduire un biais. Les approches plus sûres distinguent absence réelle, valeur inconnue et valeur non applicable.

Les assistants génératifs peuvent accélérer la standardisation de texte (catégoriser des verbatims, normaliser des intitulés de poste, homogénéiser des adresses). Cependant, ces outils peuvent halluciner ou surinterpréter. La pratique professionnelle impose des garde-fous : contraintes de sortie (liste fermée de catégories), contrôle d’échantillons et stockage des décisions. Dans les contextes sensibles, la CNIL rappelle l’importance de minimiser les données et de maîtriser les finalités, ce qui implique de limiter les champs transmis à un outil externe.

La documentation transforme le nettoyage en actif durable. Un journal de transformations décrit : règle appliquée, raison, date, version, taux d’impact, exceptions. Une équipe data évite ainsi l’« effet boîte noire » où personne ne sait pourquoi un indicateur varie. Cette discipline prépare aussi des usages plus avancés, comme l’observabilité de données et l’audit des chaînes de traitement.

Le nettoyage manuel ne passe pas à l’échelle lorsque les sources se multiplient. L’industrialisation consiste à transformer les règles en contrôles automatisés, exécutés à chaque chargement. Un pipeline typique enchaîne extraction, validation, transformations, contrôles qualité, puis publication. La compétence Automatiser des workflows devient alors déterminante pour fiabiliser les traitements et réduire les corrections en urgence.

Un socle de bonnes pratiques rapproche le data cleaning du génie logiciel. Le versioning dans Git permet de tracer l’évolution des règles. La reproductibilité via Docker limite les « écarts d’environnement » entre poste local et production. Des tests de données (schémas, plages de valeurs, unicité, référentiels) bloquent la diffusion de jeux dégradés. Les équipes gagnent aussi à isoler une zone de quarantaine pour les lignes non conformes, afin de traiter les exceptions sans contaminer l’ensemble.

La gouvernance complète l’outillage. Les rôles sont clarifiés : qui définit la règle, qui l’approuve, qui gère les exceptions et qui arbitre les conflits entre directions métier. Cette organisation devient encore plus importante quand les données alimentent des systèmes d’IA. Le calendrier européen prévoit une entrée en application générale de l’AI Act au 2 août 2026, ce qui renforce l’attention portée à la documentation, à la transparence et à la gouvernance des données pour certains usages à risque.

Le choix d’outils dépend du volume, de la sensibilité des données et du niveau d’automatisation recherché. Les assistants comme ChatGPT apportent de la vitesse sur des tâches textuelles (classification, standardisation, génération de règles), mais exigent une stratégie de contrôle et de confidentialité. Des copilotes intégrés à l’écosystème bureautique, comme Microsoft Copilot, facilitent des audits rapides et des explications de formules, mais restent moins adaptés à l’industrialisation. Des assistants intégrés à des environnements data comme Google Gemini peuvent accélérer l’exploration, mais la qualité des résultats dépend fortement du contexte fourni.

Quatre alternatives reviennent souvent dans les équipes : un tableur (rapidité, faible barrière d’entrée, limites sur la traçabilité), un script data (fort contrôle, besoin de compétences), un outil de data prep spécialisé (interface visuelle, risque d’opacité si mal gouverné) et une BI (contrôle visuel, pas un outil de transformation principal). Dans une organisation, un mix est courant : scripts pour transformer, BI pour valider, et assistant IA pour accélérer l’analyse et la rédaction de règles.

Mesurer le ROI évite les illusions. Des indicateurs simples suffisent : baisse du taux de doublons, diminution des corrections manuelles, réduction du temps de préparation des rapports, et stabilité des KPI après mise en place de tests. Les tendances publiées en février 2026 par IBM insistent sur un point opérationnel : de nombreux projets d’IA restent bloqués en pilote lorsque les données ne sont pas prêtes, ce qui rend la compétence de nettoyage et de gouvernance directement actionnable.

La formation Nettoyer des données avec l'IA prend tout son sens lorsqu’elle s’inscrit dans un plan de montée en compétence : règles de qualité, automatisation, tests, documentation et choix d’outils adaptés au contexte.