Overskuelige tabeller og manglende værdier

Data fra virkeligheden er rodede. Før du beregner noget, skal du tjekke, hvad der står i tabellen. Her er nogle almindelige problemer:

• Blandede enheder. Én kolonne er i millimeter og en anden i centimeter, eller der er en blanding af begge i én kolonne. I 1999 mistede NASA Mars Climate Orbiter i høj grad, fordi ét holds software angav en størrelse i imperiale enheder, mens det andet forventede metriske enheder. En tabel kan ikke advare dig; du er nødt til at læse enhederne.
• Stavning og format. "Adelie", "adelie" og "Adelie " (med et mellemrum til sidst) ser ud som tre grupper for en computer. Datoer skrevet som 03/04/2024 betyder forskellige dage i forskellige lande.
• Umulige værdier. En kropsmasse på 0 g, en svømmefinne på 2 000 mm, et årstal på 2099. Nogle gange er det en slåfejl, andre gange en pladsholder for "ukendt".
• Dubletter. Den samme enhed er indtastet to gange, så den tælles dobbelt.

Det mest almindelige problem af alle er manglende værdier, som normalt skrives NA ("ikke tilgængelig"). Pingvintabellen har dem, og de er en god lektion:

• Tabellen har 344 rækker.
• To rækker (række 4 og 272) mangler alle målinger: Fuglene er med i listen med art og ø, men der er ingen værdier for næb, svømmefinne eller masse.
• Yderligere ni rækker har målingerne, men ikke kønnet. I alt mangler kønnet i 11 rækker.
• Så 342 fugle har en kropsmasse, og 333 har en komplet registrering.

Målingerne af pingvinerne er datasættet Palmer-pingviner: 344 fugle målt på Palmer Station i Antarktis i 2007, 2008 og 2009 (Gorman, Williams og Fraser, 2014), delt i det offentlige domæne (CC0).

Hvad skal du gøre ved manglende værdier? Det ærlige svar er: "det afhænger af, hvorfor de mangler". Hvis nogle få værdier mangler af grunde, der ikke har noget med det, du undersøger, at gøre, for eksempel fordi en vægt løb tør for batteri, betyder det ikke så meget at fjerne de rækker. Men hvis de manglende værdier er systematiske, ændrer det svaret at fjerne dem. Forestil dig (i et opdigtet tilfælde), at de tungeste fugle var for svære at veje. Hvis du sletter rækkerne med manglende vægte, bliver dit gennemsnit lavere end sandheden. De rækker, du fjernede, var ikke tilfældige, så de rækker, du beholdt, er ikke typiske.

Nogle få vaner beskytter dig:

• Se først. Tæl rækkerne, tjek intervallet for hver kolonne, og skriv kategorierne ned. Overraskende værdier er spor.
• Slet aldrig noget i stilhed. Hvis du fjerner rækker, så fortæl hvilke og hvorfor. "Vi analyserede de 333 pingviner med komplette oplysninger" er ærligt. Et uforklaret lavere antal er ikke.
• Behold originalen. Arbejd på en kopi af dataene, så du altid kan gå tilbage.
• Læs dataordbogen. En dataordbog (kodebog) fortæller, hvad hver kolonne betyder, hvilke enheder den bruger, hvordan manglende værdier er angivet, og hvem der indsamlede dataene. For pingvinerne fortæller den, at kropsmasse måles i gram, og at næbmålene er i millimeter. Uden den er tallene bare tal.
• Husk målefejl. Alle målinger har en vis fejl: en lineal, der aflæses lidt forskelligt, eller en fugl, der ikke vil stå stille. Små fejl er normale; de er en del af grunden til, at data varierer.