8 · งานวิจัยที่ตักเกิน
ใบเสร็จ · บุฟเฟต์พิซซ่ามื้อกลางวัน · ร้านอาหารอิตาเลียนร้านหนึ่งในสหรัฐฯ · สองสัปดาห์
คูปองที่แจก: 4 ดอลลาร์ หรือ 8 ดอลลาร์
ผู้เข้าร่วม: 139 คน · งานวิจัยที่ได้: 4 ชิ้น
ใบเสร็จใบนี้ไม่ได้แต่ง ข้อมูลมื้อกลางวันสองสัปดาห์จากร้านพิซซ่าร้านเดียว ถูกตักออกมาเป็นงานวิจัยสี่ชิ้น และคนนอกที่มาตรวจนับจุดที่ตัวเลขไม่ลงรอยกันได้ราวหนึ่งร้อยห้าสิบจุด
ตัวเลขที่เหมาะเกินไป
มีตัวเลขหนึ่งที่เหมาะกับบทแรกของเล่มนี้ที่สุด ปี 2011 วารสาร Review of Economics and Statistics ตีพิมพ์การทดลองในร้านพิซซ่าบุฟเฟต์ ลูกค้าที่ได้ส่วนลดครึ่งราคา กินพิซซ่าน้อยกว่าลูกค้าที่จ่ายเต็มราคา 27.9 เปอร์เซ็นต์ เฉลี่ย 2.95 ชิ้นต่อ 4.09 ชิ้น ผู้เขียนเสนอว่าคำอธิบายหนึ่งที่เป็นไปได้ คือคนในร้านราคาเหมากินในปริมาณที่ทำให้รู้สึกคุ้มเงิน
ตัวเลขนี้เหมาะเกินไป จนต้องตรวจก่อนจะใช้ และผลการตรวจคือเหตุผลที่มันมาอยู่ในบทนี้ แทนที่จะอยู่ในบทที่ 1
ห้องแล็บที่ศึกษาเรื่องกิน
ผู้เขียนคนที่สองของงานนั้นคือ Brian Wansink หัวหน้าห้องแล็บด้านอาหารและแบรนด์ของมหาวิทยาลัยคอร์เนลล์ ห้องแล็บที่ผลิตงานเรื่องพฤติกรรมการกินออกมาจำนวนมาก ปลายปี 2016 เขาเขียนบล็อกชมนักศึกษาฝึกงานคนหนึ่ง ที่รับชุดข้อมูลจากการทดลองบุฟเฟต์ร้านอิตาเลียน ซึ่งเขาเรียกเองว่าการศึกษาที่ล้มเหลว ไม่พบผลอะไร ไปวิเคราะห์ใหม่ซ้ำแล้วซ้ำเล่า จนได้งานวิจัยออกมาสี่ชิ้น นักวิจัยคนอื่นอ่านบล็อกนั้นแล้วเริ่มตรวจตัวเลขในงานสี่ชิ้นนั้น
ปี 2017 นักวิจัยสามคน van der Zee, Anaya และ Brown ตีพิมพ์ผลการตรวจงานสี่ชิ้นของห้องแล็บนั้น ทั้งสี่ชิ้นว่าด้วยบุฟเฟต์พิซซ่าราคา 4 กับ 8 ดอลลาร์ และดูเหมือนจะมาจากการทดลองครั้งเดียวกันในร้านอิตาเลียนร้านเดียว สองสัปดาห์ ช่วงมื้อกลางวัน คนเข้าร่วม 139 คน สิ่งที่พวกเขาพบคือจำนวนผู้เข้าร่วมไม่ตรงกันทั้งภายในบทความเดียวกันและข้ามบทความ ค่าสถิติบางค่าชี้ว่ามีคนมากกว่าที่มีอยู่จริง ซึ่งเป็นไปไม่ได้ รวมแล้วราวหนึ่งร้อยห้าสิบจุด และพวกเขาขอข้อมูลจากผู้เขียนไม่ได้
ชื่อบทความตรวจสอบของพวกเขาแปลได้ว่า อาการแสบร้อนกลางอกทางสถิติ
จานที่ถูกเก็บคืน
ในสี่ชิ้นนั้น ชิ้นที่ว่าด้วยความเสียดายหลังกินบุฟเฟต์ราคาถูก ถูกวารสารถอนเมื่อวันที่ 15 กันยายน 2017 เพราะข้อกังวลเรื่องการวิเคราะห์ข้อมูล ผู้เขียนไม่เห็นด้วยกับการถอน อีกสามชิ้นถูกแก้ไขในปีเดียวกัน
วันที่ 20 กันยายน 2018 มหาวิทยาลัยคอร์เนลล์แถลงว่าคณะกรรมการพบว่าหัวหน้าห้องแล็บประพฤติผิดทางวิชาการ ทั้งรายงานข้อมูลผิด ใช้เทคนิคทางสถิติที่มีปัญหา ไม่บันทึกและไม่เก็บรักษาผลวิจัย และใส่ชื่อผู้เขียนอย่างไม่เหมาะสม เขาลาออกและเกษียณ ถึงปี 2022 ฐานข้อมูลของ Retraction Watch นับงานของเขาที่ถูกถอนได้ 18 ชิ้น
ส่วนที่ยังยืน
งานปี 2011 ที่มีตัวเลข 27.9 เปอร์เซ็นต์ ไม่ได้อยู่ในสี่ชิ้นที่ถูกตรวจ และถึงวันที่เขียนเล่มนี้ ทะเบียนที่ตรวจยังไม่มีประกาศถอนหรือแก้ไข มันยืนอยู่ แต่ยืนอยู่คนเดียว มาจากห้องแล็บเดียวกัน เล่มนี้ค้นแล้วไม่พบใครทำซ้ำ และบอกไม่ได้ว่ามันมาจากการทดลองเดียวกับอีกสี่ชิ้นหรือไม่
เล่มนี้จึงเล่ามันได้ในฐานะเรื่องที่ควรรู้ แต่ไม่ให้มันแบกน้ำหนักของเล่ม เสาที่แบกจริงอยู่ที่อื่น กลุ่มตัวอย่าง 36 กลุ่มกับคนหกพันคนในบทที่ 2 งานรวมผลราวร้อยค่าในบทเดียวกัน และนักศึกษาที่เดิมพันด้วยเงินจริงในบทที่ 4 ไม่มีชิ้นไหนในนั้นมาจากร้านพิซซ่า
ข้อมูลที่ถูกใช้ให้คุ้ม
ความเห็นของเล่มนี้คือ เรื่องนี้ไม่ใช่เรื่องนอกเล่ม มันคือเรื่องเดียวกับบุฟเฟต์ ชุดข้อมูลหนึ่งชุดเหมือนการจ่ายค่าเข้าหนึ่งครั้ง ทุกการวิเคราะห์ที่ตามมาดูเหมือนได้มาฟรี และเมื่อการทดลองไม่ได้ผลตามที่หวัง แรงที่บอกว่าเก็บข้อมูลมาแล้ว ต้องได้อะไรออกมาสักอย่าง ก็คือแรงเดียวกับที่ตักหมูถาดที่สามสิบ
นักวิทยาศาสตร์เรียกการวิเคราะห์ซ้ำไปเรื่อย ๆ จนกว่าจะเจอผลว่า p-hacking และมีเครื่องมือกันมันไว้แล้ว คือการลงทะเบียนแผนวิเคราะห์ไว้ล่วงหน้าก่อนเห็นข้อมูล ซึ่งเป็นสิ่งที่งานทำซ้ำหลายชิ้นในเล่มนี้ทำ กล่าวอีกแบบหนึ่ง วงการวิทยาศาสตร์เองก็ต้องตั้งกฎหยุดตักไว้ก่อนเดินเข้าไลน์บุฟเฟต์
พิซซ่ามื้อกลางวันสองสัปดาห์ ถูกนำไปเลี้ยงงานวิจัยสี่ชิ้น และถูกเก็บจานคืนไปแล้วหนึ่ง
บทถัดไป · 10 / 1609 Not Hungry Just Not Bored