Rensa tabeller och hantera saknade värden.

Riktiga data är röriga. Innan du räknar ut något ska du kontrollera vad som finns i tabellen. Några vanliga problem:

• Blandade enheter. En kolumn i millimeter och en annan i centimeter, eller en blandning av båda i samma kolumn. År 1999 förlorade NASA till stor del Mars Climate Orbiter eftersom ett teams programvara angav en storhet i brittiska måttenheter medan det andra teamet förväntade sig metriska enheter. En tabell kan inte varna dig – du måste läsa enheterna.
• Stavning och format. "Adelie", "adelie" och "Adelie " (med ett avslutande mellanslag) ser ut som tre grupper för en dator. Datum skrivna som 03/04/2024 betyder olika dagar i olika länder.
• Omöjliga värden. En kroppsmassa på 0 g, en simfena på 2 000 mm, ett årtal på 2099. Ibland är det ett skrivfel, ibland en platshållare för "okänt".
• Dubbletter. Samma enhet har lagts in två gånger, vilket gör att den räknas dubbelt.

Det vanligaste problemet av alla är saknade värden, som oftast skrivs NA ("inte tillgängligt"). Pingvintabellen innehåller sådana, och den är en bra lektion:

• Tabellen har 344 rader.
• Två rader (rad 4 och 272) saknar alla mätningar: fåglarna finns med i listan, med art och ö, men det finns inga värden för näbb, simfena eller massa.
• Ytterligare nio rader har mätningarna men saknar kön. Totalt saknar 11 rader kön.
• Alltså har 342 fåglar en kroppsmassa, och 333 har en komplett registrering.

Pingvinmätningarna är datamängden Palmer penguins: 344 fåglar som mättes vid Palmer Station i Antarktis åren 2007, 2008 och 2009 (Gorman, Williams och Fraser, 2014), och som har delats offentligt (CC0).

Vad ska du göra med saknade värden? Det ärliga svaret är: "det beror på varför de saknas". Om några få värden saknas av orsaker som inte har att göra med det du undersöker, till exempel att en våg fick slut på batteri, gör det inte så stor skillnad att ta bort de raderna. Men om de saknade värdena är systematiska förändras svaret om du tar bort dem. Föreställ dig (i ett påhittat fall) att de tyngsta fåglarna var för svåra att väga. Om du tar bort raderna med saknade viktvärden blir ditt medelvärde lägre än det verkliga värdet. Raderna du tog bort valdes inte slumpmässigt, så raderna du behöll är inte typiska.

Några vanor skyddar dig:

• Titta först. Räkna raderna, kontrollera intervallet i varje kolumn och lista kategorierna. Överraskande värden är ledtrådar.
• Radera aldrig tyst. Om du tar bort rader ska du säga vilka och varför. ”Vi analyserade de 333 pingvinerna med fullständiga uppgifter” är ärligt. Ett oförklarat mindre antal är det inte.
• Behåll originalet. Arbeta med en kopia av datan så att du alltid kan gå tillbaka.
• Läs dataordlistan. En dataordlista (kodbok) förklarar vad varje kolumn betyder, vilka enheter som används, hur saknade värden kodas och vem som samlade in uppgifterna. För pingvinerna berättar den att kroppsmassan anges i gram och att näbbmätningarna anges i millimeter. Utan den är siffrorna bara siffror.
• Kom ihåg mätfel. Varje mätning innehåller ett visst fel: en linjal som läses av lite olika eller en fågel som inte vill stå stilla. Små fel är normala och är en del av förklaringen till att data varierar.