تنظيم الجداول ومعالجة القيم المفقودة.

البيانات الحقيقية فوضوية. قبل أن تحسب أي شيء، تحقّق مما هو موجود في الجدول. إليك بعض المشكلات الشائعة:

• وحدات مختلفة. قد يكون أحد الأعمدة بالملليمتر والآخر بالسنتيمتر، أو قد تختلط الوحدتان في العمود نفسه. في عام 1999، فقدت NASA المركبة المدارية للمريخ بسبب أن برنامج أحد الفريقين أعطى كمية بوحدات إمبراطورية، بينما توقّع الفريق الآخر وحدات مترية. لا يستطيع الجدول تحذيرك؛ عليك قراءة الوحدات.
• الإملاء والتنسيق. تبدو الكلمات "Adelie" و"adelie" و"Adelie " (مع مسافة في النهاية) كأنها ثلاث مجموعات مختلفة بالنسبة إلى الكمبيوتر. كما أن التواريخ المكتوبة بصيغة 03/04/2024 تعني أيامًا مختلفة في بلدان مختلفة.
• قيم مستحيلة. كتلة جسم تساوي 0 g، أو زعنفة طولها 2 000 mm، أو سنة تساوي 2099. قد يكون ذلك خطأً مطبعيًا، وقد يكون أحيانًا عنصرًا نائبًا بمعنى "غير معروف".
• التكرارات. إدخال الوحدة نفسها مرتين، مما يجعلها تُحتسب مرتين.

أكثر مشكلة شائعة على الإطلاق هي القيم المفقودة، وعادةً ما تُكتب NA ("غير متاح"). يحتوي جدول البطاريق على قيم مفقودة، وهي مثال جيد للتعلّم:

• يحتوي الجدول على 344 صفًا.
• يحتوي صفّان (الصفان 4 و272) على جميع قيم القياس مفقودة: الطيور مُدرجة مع النوع والجزيرة، لكن لا توجد قيم للمنقار أو الزعنفة أو الكتلة.
• تحتوي تسعة صفوف أخرى على قيم القياس، لكن ليس فيها الجنس. وبذلك، يفتقد 11 صفًا الجنس.
• إذن، لدى 342 طائرًا كتلة جسم، ولدى 333 طائرًا سجل كامل.

بيانات قياسات البطاريق هي مجموعة بيانات بطاريق بالمر: 344 طائرًا جرى قياسها في محطة بالمر في القارة القطبية الجنوبية، في أعوام 2007 و2008 و2009 (غورمان وويليامز وفريزر، 2014)، وقد أُتيحت في الملكية العامة (CC0).

ماذا ينبغي أن تفعل بشأن القيم المفقودة؟ الإجابة الصادقة هي: "يعتمد ذلك على سبب فقدانها". إذا كانت بعض القيم مفقودة لأسباب لا علاقة لها بما تدرسه، مثل نفاد بطارية ميزان، فإن حذف تلك الصفوف لا يغيّر الكثير. لكن إذا كانت القيم المفقودة منهجية، فإن حذفها يغيّر الإجابة. تخيّل حالة مختلقة: كانت البطاريق الأثقل وزنًا صعبة الوزن. إذا حذفت الصفوف التي تفتقد إلى أوزان، فسيكون المتوسط الذي تحسبه أقل من الحقيقة. الصفوف التي حذفتها لم تكن عشوائية، لذلك فالصفوف التي أبقيتها لا تمثّل الحالة المعتادة.

تحميك بعض العادات:

• انظر أولًا. احسب الصفوف، وتحقّق من نطاق كل عمود، وسجّل الفئات. القيم المفاجئة أدلة.
• لا تحذف بصمت أبدًا. إذا حذفت صفوفًا، فاذكر أيّ صفوف حذفت ولماذا. إن قولك: "حلّلنا بيانات 333 بطريقًا ذوي سجلات مكتملة" أمر صادق. أما العدد الأصغر من دون تفسير فليس كذلك.
• احتفظ بالأصل. اعمل على نسخة من البيانات حتى تتمكّن دائمًا من الرجوع إليها.
• اقرأ قاموس البيانات. يوضّح قاموس البيانات (دليل الرموز) معنى كل عمود، ووحداته، وطريقة ترميز القيم المفقودة، ومن جمع البيانات. وبالنسبة إلى طيور البطريق، يوضّح أن كتلة الجسم بالغرامات وأن قياسات المنقار بالملليمترات. ومن دونه، ما الأعداد إلا أعداد.
• تذكّر خطأ القياس. لكل قياس بعض الخطأ: مثل أن تُقرأ المسطرة بطريقة مختلفة قليلًا، أو أن يرفض طائر البقاء ساكنًا. الأخطاء الصغيرة طبيعية؛ فهي جزء من سبب تباين البيانات.