Overzichtelijke tabellen en ontbrekende waarden

Echte gegevens zijn rommelig. Controleer voordat je iets berekent wat er in de tabel staat. Een paar veelvoorkomende problemen:

• Verschillende eenheden. Eén kolom in millimeters en een andere in centimeters, of een mix van beide in één kolom. In 1999 verloor NASA de Mars Climate Orbiter grotendeels omdat de software van het ene team een hoeveelheid in imperiale eenheden gaf en het andere team metrische eenheden verwachtte. Een tabel kan je daar niet voor waarschuwen; je moet de eenheden lezen.
• Spelling en opmaak. "Adelie", "adelie" en "Adelie " (met een spatie aan het einde) zien er voor een computer uit als drie groepen. Datums die zijn geschreven als 03/04/2024 betekenen in verschillende landen verschillende dagen.
• Onmogelijke waarden. Een lichaamsmassa van 0 g, een vin van 2 000 mm, een jaar 2099. Soms is het een typefout, soms een tijdelijke aanduiding voor "onbekend".
• Dubbele vermeldingen. Dezelfde eenheid is twee keer ingevoerd, waardoor die dubbel wordt meegeteld.

Het meest voorkomende probleem zijn ontbrekende waarden, meestal geschreven als NA ("niet beschikbaar"). De pinguïntabel bevat zulke waarden en is een goede les:

• De tabel heeft 344 rijen.
• Twee rijen (rijen 4 en 272) hebben voor elke meting een ontbrekende waarde: de vogels staan vermeld, met soort en eiland, maar er zijn geen waarden voor snavel, vin of massa.
• Nog negen rijen hebben wel de metingen, maar niet het geslacht. In totaal ontbreekt het geslacht in 11 rijen.
• Dus hebben 342 vogels een lichaamsmassa en hebben 333 een volledig record.

De pinguïnmetingen zijn de dataset met Palmer-pinguïns: 344 vogels die in 2007, 2008 en 2009 zijn gemeten bij Palmer Station, Antarctica (Gorman, Williams en Fraser, 2014), gedeeld in het publieke domein (CC0).

Wat moet je doen met ontbrekende waarden? Het eerlijke antwoord is: "dat hangt ervan af waarom ze ontbreken". Als er een paar waarden ontbreken om redenen die niets te maken hebben met wat je onderzoekt, bijvoorbeeld omdat een weegschaal geen batterij meer had, verandert het weinig als je die rijen weglaat. Maar als de ontbrekende waarden systematisch zijn, verandert het antwoord als je ze weglaat. Stel je voor (een verzonnen geval) dat de zwaarste vogels te moeilijk te wegen waren. Als je de rijen met ontbrekende gewichten verwijdert, zal je gemiddelde lager zijn dan de waarheid. De rijen die je hebt verwijderd waren niet willekeurig, dus de rijen die je hebt gehouden zijn niet typisch.

Een paar gewoontes helpen je:

• Kijk eerst. Tel de rijen, controleer het bereik van elke kolom en noteer de categorieën. Verrassende waarden zijn aanwijzingen.
• Verwijder nooit stilletjes. Als je rijen weglaat, vertel dan welke en waarom. "We analyseerden de 333 pinguïns met volledige gegevens" is eerlijk. Een kleiner getal zonder uitleg niet.
• Bewaar het origineel. Werk op een kopie van de gegevens, zodat je altijd terug kunt gaan.
• Lees het gegevenswoordenboek. Een gegevenswoordenboek (codeboek) legt uit wat elke kolom betekent, welke eenheden worden gebruikt, hoe ontbrekende waarden zijn gecodeerd en wie de gegevens heeft verzameld. Voor de pinguïns vertelt het je dat de lichaamsmassa in gram is en de snavelmetingen in millimeters. Zonder deze informatie zijn de getallen gewoon getallen.
• Houd rekening met meetfouten. Elke meting bevat een fout: een liniaal die net iets anders wordt afgelezen, of een vogel die niet stil wilde blijven zitten. Kleine fouten zijn normaal; ze zijn een van de redenen waarom gegevens variëren.