整理された表と欠損値

実際のデータはごちゃごちゃしています。何かを計算する前に、表に何が入っているかを確認しましょう。よくある問題をいくつか紹介します。

• 単位が混ざっている。 ある列がミリメートルで、別の列がセンチメートルになっていたり、1つの列の中に両方が混ざっていたりします。1999年、NASAはMars Climate Orbiterをほぼこの問題が原因で失いました。あるチームのソフトウェアが数量をヤード・ポンド法の単位で示したのに、別のチームはメートル法を想定していたのです。表は注意を促してくれないので、自分で単位を読む必要があります。
• つづりと形式。 「Adelie」、「adelie」、「Adelie 」（末尾に空白あり）は、コンピューターには3つのグループに見えます。03/04/2024のように書かれた日付は、国によって違う日を意味します。
• ありえない値。 0 gの体の質量、2 000 mmのフリッパー、2099年。入力ミスのこともあれば、「不明」を表す仮の値のこともあります。
• 重複。 同じ個体が2回入力されていて、2倍に数えられてしまいます。

いちばんよくある問題は、欠測値です。通常はNA（「利用できない」）と書かれます。ペンギンの表にも欠測値があり、よい学習材料になります。

• 表には344行あります。
• 2行（4行目と272行目）では、すべての測定値が欠けています。鳥類は種と島とともに記録されていますが、くちばし、フリッパー、質量の値はありません。
• さらに9行では測定値はありますが、性別がありません。合計で、性別がない行は11行です。
• つまり、体の質量がある鳥類は342羽、完全な記録がある鳥類は333羽です。

このペンギンの測定値は、パーマーペンギンのデータセットです。2007年、2008年、2009年に南極のPalmer Stationで測定された344羽の鳥類のデータで、Gorman、Williams、Fraser（2014）が公開し、パブリックドメイン（CC0）で共有されています。

欠測値はどうすればよいのでしょうか？ 正直な答えは、「欠けている理由によります」です。研究していることとは関係のない理由で、たとえばはかりの電池が切れたために少しだけ値が欠けているなら、その行を削除してもほとんど変わりません。しかし、欠測値が系統的に発生している場合、削除すると答えが変わります。たとえば（作り話ですが）、体重が最も重い鳥類は、重すぎて測定できなかったと想像してみましょう。体重が欠けている行を削除すると、平均は本当の値より低くなります。削除した行はランダムではないので、残した行は典型的なデータではありません。

いくつかの習慣で、データを守れます：

• まず確認する。 行の数を数え、各列の範囲を確認し、カテゴリを一覧にする。意外な値は手がかりです。
• 黙って削除しない。 行を削除するなら、どの行をなぜ削除したのかを伝える。「完全な記録がある333羽のペンギンを分析しました」は正直な説明です。理由を説明せずに数が少なくなっているのは、正直とはいえません。
• 元のデータを残す。 いつでも元に戻せるように、データのコピーで作業する。
• データ辞書を読む。 データ辞書（コードブック）には、各列の意味、単位、欠測値の表し方、誰がデータを集めたかが書かれています。ペンギンのデータでは、体の質量がグラム単位で、くちばしの測定値がミリメートル単位だと分かります。データ辞書がなければ、数はただの数にすぎません。
• 測定誤差を忘れない。 すべての測定には、ある程度の誤差があります。たとえば、定規の読み方が少し違ったり、鳥がじっとしていなかったりします。小さな誤差は普通のことで、データにばらつきがある理由の一つです。