整洁的表格与缺失值

真实数据往往是杂乱的。在计算任何内容之前，先检查表格中包含什么。一些常见问题：

• 单位混用。 一列用毫米，另一列用厘米，或者一列中混合使用两者。1999年，NASA 失去火星气候轨道器，很大程度上是因为一个团队的软件使用英制单位，而另一个团队期望的是公制单位。表格不会提醒你；你必须阅读单位。
• 拼写和格式。 “Adelie”、“adelie” 和 “Adelie ”（末尾有空格）在计算机看来像是三个不同的组。写成 03/04/2024 的日期在不同国家代表不同的日子。
• 不可能的值。 体重为 0 克，鳍长为 2000 毫米，年份为 2099 年。有时是笔误，有时是“未知”的占位符。
• 重复项。 同一个单位被输入了两次，导致被重复计算。

最常见的问题是缺失值，通常写作 NA（“不可用”）。企鹅数据表中就有缺失值，这是一个很好的学习案例：

• 该表共有 344 行。
• 两行（第 4 行和第 272 行）的所有测量值均缺失：虽然列出了物种和岛屿，但没有喙长、鳍长或体重的数据。
• 另外九行有测量值，但缺少性别。总共有 11 行缺少性别信息。
• 因此，342 只企鹅有体重数据，333 只企鹅的记录是完整的。

这些企鹅测量数据来自帕尔默企鹅数据集：2007 年、2008 年和 2009 年在南极洲帕尔默站测量的 344 只企鹅（Gorman, Williams 和 Fraser, 2014），以公有领域（CC0）共享。

遇到缺失值该怎么办？诚实的回答是“这取决于它们为什么缺失”。如果只有少数值因与研究无关的原因缺失（例如秤没电了），删除这些行影响不大。但如果缺失值是系统性的，删除它们会改变结论。想象一下（假设的情况），最重的企鹅因为太难称重而没有被记录。如果你删除体重缺失的行，计算出的平均值会比真实值低。被删除的行并非随机，因此保留下来的行也不具有代表性。

养成几个习惯可以保护你：

• 先观察。 统计行数，检查每列的范围，列出类别。异常值是线索。
• 不要悄悄删除。 如果删除行，请说明删除了哪些以及原因。“我们分析了 333 只记录完整的企鹅”是诚实的。未解释的数字减少则不然。
• 保留原始数据。 在数据的副本上工作，以便随时可以回溯。
• 阅读数据字典。 数据字典（代码本）说明了每列的含义、单位、缺失值的编码方式以及数据收集者。对于企鹅数据，它告诉你体重单位是克，喙长测量单位是毫米。没有它，数字就只是数字。
• 记住测量误差。 每个测量都有一定误差：尺子读数略有不同，或者企鹅不肯静止。小误差是正常的；它们是数据变异的一部分。