깔끔한 표와 결측값

실제 데이터는 지저분합니다. 무엇이든 계산하기 전에 표에 무엇이 들어 있는지 확인하세요. 흔히 생기는 문제 몇 가지를 살펴볼게요.

• 단위가 섞여 있음. 한 열은 밀리미터이고 다른 열은 센티미터일 수도 있고, 한 열 안에 두 단위가 섞여 있을 수도 있습니다. 1999년 NASA는 한 팀의 소프트웨어가 어떤 값을 영국식 단위로 표시했는데 다른 팀은 미터법을 예상했던 탓이 커서 화성 기후 궤도선을 잃었습니다. 표는 이런 문제를 알려 주지 않으니, 단위를 직접 읽어야 합니다.
• 철자와 형식. "Adelie", "adelie", 그리고 끝에 공백이 있는 "Adelie "는 컴퓨터에게는 세 개의 그룹처럼 보입니다. 03/04/2024처럼 적은 날짜는 나라마다 서로 다른 날을 뜻할 수 있습니다.
• 불가능한 값. 몸의 질량이 0 g이거나, 지느러미 길이가 2 000 mm이거나, 연도가 2099인 경우입니다. 때로는 오타이고, 때로는 "알 수 없음"을 나타내는 임시 값입니다.
• 중복. 같은 개체가 두 번 입력되어 두 개로 계산되는 경우입니다.

가장 흔한 문제는 결측값이며, 보통 NA(“사용할 수 없음”)라고 씁니다. 펭귄 표에도 이런 값이 있고, 좋은 학습 사례가 됩니다:

• 표에는 344개 행이 있습니다.
• 두 행(4행과 272행)은 모든 측정값이 빠져 있습니다: 조류의 종과 섬은 기록되어 있지만, 부리 길이, 지느러미 길이, 질량 값은 없습니다.
• 아홉 개 행에는 측정값은 있지만 성별 정보가 없습니다. 성별 정보가 없는 행은 모두 11개입니다.
• 따라서 342마리의 펭귄은 체질량이 기록되어 있고, 333마리는 기록이 완전합니다.

펭귄 측정 자료는 팔머펭귄 데이터 세트입니다. 2007년, 2008년, 2009년에 남극의 팔머 기지에서 측정한 344마리의 펭귄 자료로, Gorman, Williams와 Fraser(2014)가 퍼블릭 도메인(CC0)으로 공유했습니다.

누락된 값은 어떻게 처리해야 할까요? 솔직한 답은 "왜 누락되었는지에 따라 달라진다"입니다. 저울의 전지가 다 닳은 것처럼 연구 중인 내용과 상관없는 이유로 몇 개의 값이 누락되었다면, 해당 행을 제외해도 결과는 거의 달라지지 않습니다. 하지만 누락된 값이 체계적이라면, 행을 제외하는 순간 답이 달라집니다. (가상의 사례로) 몸무게가 가장 많이 나가는 조류는 무게를 재기가 너무 어려웠다고 상상해 보세요. 무게가 누락된 행을 삭제하면 평균이 실제보다 낮아집니다. 삭제한 행들은 무작위로 빠진 것이 아니므로, 남겨 둔 행들도 전형적인 데이터가 아닙니다.

다음과 같은 습관을 지키면 실수를 막을 수 있습니다:

• 먼저 살펴보세요. 행의 수를 세고, 각 열의 범위를 확인하고, 범주를 나열하세요. 예상 밖의 값은 단서입니다.
• 말없이 삭제하지 마세요. 행을 제외한다면 어떤 행을 왜 제외했는지 말하세요. "기록이 완전한 펭귄 333마리를 분석했습니다"라고 하는 것은 정직한 표현입니다. 설명 없이 수가 줄어드는 것은 정직하지 않습니다.
• 원본을 보관하세요. 언제든 되돌아갈 수 있도록 데이터의 사본으로 작업하세요.
• 데이터 사전을 읽으세요. 데이터 사전(코드북)은 각 열이 무엇을 의미하는지, 단위가 무엇인지, 누락된 값을 어떻게 표시하는지, 누가 데이터를 수집했는지를 알려 줍니다. 펭귄 데이터에서는 몸의 질량이 그램 단위이고 부리 측정값이 밀리미터 단위라는 것을 알려 줍니다. 데이터 사전이 없으면 수는 그저 수일 뿐입니다.
• 측정 오차를 기억하세요. 모든 측정에는 약간의 오차가 있습니다. 자를 조금 다르게 읽었을 수도 있고, 새가 가만히 있지 않았을 수도 있습니다. 작은 오차는 정상이며, 데이터가 달라지는 이유 중 하나입니다.