Data Dredging คืออะไร? ทำความเข้าใจการขุดคุ้ยข้อมูลให้เกิดผลลัพธ์ทางสถิติ

Data dredging หรือที่รู้จักกันในชื่อ data snooping หรือ p-hacking คือการใช้การวิเคราะห์ข้อมูลในทางที่ผิดเพื่อค้นหารูปแบบในข้อมูลที่สามารถนำเสนอว่ามีความนัยสำคัญทางสถิติ ซึ่งส่งผลให้ความเสี่ยงในการเกิด ผลบวกปลอม (false positives) เพิ่มขึ้นอย่างมากและถูกประเมินต่ำเกินไป วิธีการนี้ทำได้โดยการทดสอบทางสถิติหลายๆ ครั้งกับชุดข้อมูลเดียว และรายงานเฉพาะผลลัพธ์ที่มีนัยสำคัญเท่านั้น

กระบวนการของ Data Dredging

กระบวนการของ Data dredging เกี่ยวข้องกับการทดสอบสมมติฐานหลายประการโดยใช้ชุดข้อมูลเดียว โดยการค้นหาอย่างละเอียด—อาจจะเป็นการรวมตัวแปรที่อาจแสดงความสัมพันธ์กัน หรือการค้นหากลุ่มตัวอย่างหรือการสังเกตการณ์ที่แสดงความแตกต่างในค่าเฉลี่ยหรือการแบ่งกลุ่มตามตัวแปรอื่นๆ

การทดสอบความนัยสำคัญทางสถิติแบบดั้งเดิมนั้น อ้างอิงจากความน่าจะเป็นที่ผลลัพธ์หนึ่งๆ จะเกิดขึ้นหากเกิดจากความบังเอิญเพียงอย่างเดียว และยอมรับความเสี่ยงในการสรุปผลที่ผิดพลาด (การปฏิเสธสมมติฐานว่าง หรือ null hypothesis) ระดับความเสี่ยงนี้เรียกว่า ความนัยสำคัญ (significance)

เมื่อมีการทดสอบจำนวนมาก ผลลัพธ์บางอย่างจะกลายเป็นผลบวกปลอม เช่น หากกำหนดระดับความนัยสำคัญที่ 5% จะมีสมมติฐานที่ถูกรายงานว่ามีความนัยสำคัญทางสถิติประมาณ 5% แม้ว่าจะเป็นการสุ่มเลือกสมมติฐานมาทดสอบก็ตาม เมื่อมีการทดสอบสมมติฐานจำนวนมากพอ จะเป็นเรื่องแน่นอนว่าบางอย่างจะถูกรายงานว่ามีความนัยสำคัญ (แม้ว่าจะทำให้เข้าใจผิด) เนื่องจากชุดข้อมูลที่มีความสุ่มทุกชุดมีแนวโน้มที่จะมี ความสัมพันธ์ปลอม (spurious correlations) อยู่ในนั้น

ประเภทของ Data Dredging

1. การสรุปผลจากข้อมูล (Drawing conclusions from data)

ขั้นตอนการทดสอบสมมติฐานทางสถิติที่ถูกต้องคือ การสร้างสมมติฐานการวิจัย เช่น "คนในชนชั้นทางสังคมที่สูงกว่ามีอายุยืนกว่า" จากนั้นจึงเก็บข้อมูลที่เกี่ยวข้อง และทำการทดสอบความนัยสำคัญทางสถิติเพื่อดูว่าผลลัพธ์นั้นเกิดขึ้นจากความบังเอิญหรือไม่

จุดสำคัญในการวิเคราะห์ทางสถิติที่ถูกต้องคือ การทดสอบสมมติฐานด้วยหลักฐาน (ข้อมูล) ที่ไม่ได้ถูกใช้ในการสร้างสมมติฐานนั้น หากสมมติฐานไม่ได้ถูกทดสอบกับชุดข้อมูลอื่นจากประชากรทางสถิติเดียวกัน จะเป็นไปไม่ได้ที่จะประเมินความน่าจะเป็นที่ความบังเอิญจะสร้างรูปแบบดังกล่าวขึ้นมา

ตัวอย่างเช่น การโยนเหรียญ 5 ครั้งแล้วได้หัว 2 ครั้ง และก้อย 3 ครั้ง อาจทำให้เราตั้งสมมติฐานว่าเหรียญนี้เอียงไปทางก้อย 3/5 ต่อ 2/5 แต่ถ้าเราทดสอบสมมติฐานนี้กับข้อมูลเดิมที่มีอยู่ ผลการยืนยันนั้นจะไม่มีความหมาย ขั้นตอนที่ถูกต้องคือการตั้งสมมติฐานล่วงหน้า และโยนเหรียญอีกหลายๆ ครั้งเพื่อดูว่าสมมติฐานนั้นถูกปฏิเสธหรือไม่

2. การหยุดแบบเลือกได้ (Optional Stopping)

Optional stopping คือแนวปฏิบัติที่ผู้เก็บข้อมูลจะเก็บข้อมูลไปเรื่อยๆ จนกว่าจะถึงเกณฑ์การหยุดที่กำหนดไว้ แม้ว่าจะเป็นวิธีที่ถูกต้องในบางกรณี แต่ก็มักถูกนำมาใช้ในทางที่ผิด ปัญหาคือค่า p-value ของการทดสอบทางสถิติที่หยุดแบบเลือกได้นั้นจะสูงกว่าที่เห็นในความเป็นจริง

หากสมมติฐานว่างเป็นจริง และผู้ทดลองได้รับอนุญาตให้เก็บข้อมูลต่อไปเรื่อยๆ และหยุดเมื่อได้ค่า p-value ที่ต้องการ (เช่น p < 0.05) จะสามารถบรรลุระดับความนัยสำคัญใดๆ ก็ได้ ซึ่งนำไปสู่ผลลัพธ์ที่หลอกลวง

การคำนวณค่า p-value ที่ถูกต้องจำเป็นต้องคำนึงถึงสิ่งที่ผู้ทดลองอาจจะทำในปฏิกิริยาต่อข้อมูลที่ได้รับ วิธีการหนึ่งที่จะป้องกันปัญหานี้ได้คือ การลงทะเบียนล่วงหน้า (Preregistration) ซึ่งช่วยให้ผู้ทดลองกำหนดเกณฑ์การหยุดและวิธีการวิเคราะห์ไว้ล่วงหน้า เพื่อให้การคำนวณค่า p-value เป็นไปอย่างถูกต้อง