Porządkowanie tabel i uzupełnianie brakujących wartości.

Prawdziwe dane bywają chaotyczne. Zanim coś obliczysz, sprawdź, co znajduje się w tabeli. Oto kilka częstych problemów:

• Różne jednostki. Jedna kolumna jest w milimetrach, a inna w centymetrach albo w jednej kolumnie użyto obu tych jednostek. W 1999 roku NASA straciła sondę Mars Climate Orbiter głównie dlatego, że oprogramowanie jednego zespołu podawało wartość w jednostkach imperialnych, a drugi zespół oczekiwał jednostek metrycznych. Tabela nie może cię przed tym ostrzec — musisz sprawdzić jednostki.
• Pisownia i format. „Adelie”, „adelie” i „Adelie ” (ze spacją na końcu) wyglądają dla komputera jak trzy różne grupy. Daty zapisane jako 03/04/2024 oznaczają różne dni w różnych krajach.
• Niemożliwe wartości. Masa ciała równa 0 g, płetwa o długości 2 000 mm, rok 2099. Czasami to literówka, a czasami symbol zastępujący wartość „nieznana”.
• Duplikaty. Ta sama jednostka wpisana dwa razy, przez co jest liczona podwójnie.

Najczęstszym problemem ze wszystkich są brakujące wartości, zwykle zapisywane jako NA („niedostępne”). Tabela pingwinów Adeli zawiera takie wartości i jest to dobra lekcja:

• Tabela ma 344 wiersze.
• W dwóch wierszach (4. i 272.) brakuje wszystkich pomiarów: wymieniono w nich ptaki, ich gatunek i wyspę, ale nie ma wartości dotyczących dzioba, płetwy ani masy.
• W kolejnych dziewięciu wierszach są pomiary, ale brakuje płci. Łącznie w 11 wierszach brakuje informacji o płci.
• Zatem 342 ptaki mają podaną masę ciała, a 333 mają kompletny rekord.

Pomiary pingwinów pochodzą ze zbioru danych pingwiny Adeli: 344 ptaków zmierzonych w stacji Palmer na Antarktydzie w latach 2007, 2008 i 2009 (Gorman, Williams i Fraser, 2014), udostępnionego w domenie publicznej (CC0).

Co zrobić z brakującymi wartościami? Uczciwa odpowiedź brzmi: „to zależy od tego, dlaczego ich brakuje”. Jeśli brakuje kilku wartości z powodów niezwiązanych z tym, co badasz, na przykład waga przestała działać, usunięcie tych wierszy niewiele zmienia. Jeśli jednak brakujące wartości są systematyczne, ich usunięcie zmienia wynik. Wyobraź sobie (wymyślony przypadek), że najcięższe ptaki były zbyt trudne do zważenia. Jeśli usuniesz wiersze z brakującą masą, twoja średnia będzie niższa niż w rzeczywistości. Usunięte wiersze nie były losowe, więc pozostawione wiersze nie są typowe.

Kilka nawyków pomaga ci się chronić:

• Najpierw patrz. Policz wiersze, sprawdź zakres każdej kolumny i wypisz kategorie. Zaskakujące wartości to wskazówki.
• Nigdy nie usuwaj po cichu. Jeśli usuwasz wiersze, powiedz które i dlaczego. „Przeanalizowaliśmy 333 pingwiny z kompletnymi danymi” jest uczciwe. Niewyjaśniona mniejsza liczba — nie.
• Zachowaj oryginał. Pracuj na kopii danych, żeby zawsze móc wrócić do oryginału.
• Przeczytaj słownik danych. Słownik danych (księga kodów) wyjaśnia znaczenie każdej kolumny, jej jednostki, sposób oznaczania brakujących wartości oraz to, kto zebrał dane. W przypadku pingwinów informuje, że masa ciała jest podana w gramach, a pomiary dzioba w milimetrach. Bez niego liczby są tylko liczbami.
• Pamiętaj o błędzie pomiaru. Każdy pomiar ma pewien błąd: linijkę można odczytać trochę inaczej, a ptak może nie chcieć spokojnie stać. Małe błędy są czymś normalnym — to jeden z powodów, dla których dane się różnią.