Tableaux bien organisés et valeurs manquantes

Les données réelles sont désordonnées. Avant de faire le moindre calcul, vérifie ce qui est dans le tableau. Voici quelques problèmes courants :

• Unités mélangées. Une colonne en millimètres et une autre en centimètres, ou un mélange des deux dans une même colonne. En 1999, la NASA a perdu la sonde Mars Climate Orbiter en grande partie parce que le logiciel d'une équipe donnait une valeur en unités impériales alors que l'autre s'attendait à des unités métriques. Un tableau ne peut pas te prévenir ; tu dois lire les unités.
• Orthographe et format. "Adelie", "adelie" et "Adelie " (avec une espace à la fin) ressemblent à trois groupes différents pour un ordinateur. Les dates écrites 03/04/2024 correspondent à des jours différents selon les pays.
• Valeurs impossibles. Une masse corporelle de 0 g, une nageoire de 2 000 mm, une année 2099. Il s'agit parfois d'une faute de frappe, parfois d'une valeur indiquant « inconnue ».
• Doublons. La même unité saisie deux fois, ce qui la fait compter en double.

Le problème le plus courant est celui des valeurs manquantes, généralement notées NA (« non disponible »). Le tableau des manchots en contient, et c'est une bonne leçon :

• Le tableau contient 344 lignes.
• Deux lignes (les lignes 4 et 272) n'ont aucune mesure : les oiseaux sont répertoriés, avec leur espèce et leur île, mais aucune valeur pour le bec, la nageoire ou la masse.
• Neuf autres lignes contiennent les mesures, mais pas le sexe. Au total, 11 lignes n'indiquent pas le sexe.
• Ainsi, 342 manchots ont une masse corporelle et 333 ont un relevé complet.

Les mesures des manchots proviennent du jeu de données des manchots de Palmer : 344 oiseaux mesurés à la station Palmer, en Antarctique, en 2007, 2008 et 2009 (Gorman, Williams et Fraser, 2014), et partagées dans le domaine public (CC0).

Que faire des valeurs manquantes ? La réponse honnête est : « cela dépend de la raison pour laquelle elles manquent ». Si quelques valeurs manquent pour des raisons sans rapport avec ce que vous étudiez, par exemple parce qu’une échelle n’avait plus de pile, supprimer ces lignes change peu de choses. Mais si les valeurs manquantes sont systématiques, les supprimer modifie la réponse. Imaginez (cas inventé) que les oiseaux les plus lourds soient trop difficiles à peser. Si vous supprimez les lignes où la masse manque, votre moyenne sera inférieure à la réalité. Les lignes supprimées n’étaient pas aléatoires : les lignes conservées ne sont donc pas représentatives.

Quelques habitudes peuvent vous protéger :

• Observez d’abord. Comptez les lignes, vérifiez l’intervalle de chaque colonne et listez les catégories. Les valeurs surprenantes sont des indices.
• Ne supprimez jamais sans le dire. Si vous supprimez des lignes, indiquez lesquelles et pourquoi. « Nous avons analysé les 333 manchots dont les données étaient complètes » est honnête. Un nombre plus petit, sans explication, ne l’est pas.
• Conservez l’original. Travaillez sur une copie des données pour pouvoir toujours revenir en arrière.
• Lisez le dictionnaire de données. Un dictionnaire de données (ou livre de codes) indique ce que signifie chaque colonne, ses unités, la façon dont les valeurs manquantes sont codées et qui a recueilli les données. Pour les manchots, il vous indique que la masse corporelle est exprimée en grammes et que les mesures du bec sont exprimées en millimètres. Sans lui, les nombres ne sont que des nombres.
• N’oubliez pas l’erreur de mesure. Chaque mesure comporte une certaine erreur : une règle lue légèrement différemment, un oiseau qui ne reste pas immobile. Les petites erreurs sont normales ; elles expliquent notamment pourquoi les données varient.