6 · สัญญาณที่วัดแต่ส่วนต่าง
ลองนึกถึงสัญญาณเตือนไฟไหม้ที่ดังตลอดยี่สิบสี่ชั่วโมง
ภายในสามวันคุณจะไม่ได้ยินมันอีกเลย ไม่ใช่เพราะหูเสีย แต่เพราะเสียงที่ดังตลอดไม่ได้บอกอะไร
สัญญาณที่เป็นบวกตลอดเวลา ไม่ได้บอกอะไรเลย
นี่ไม่ใช่ข้อจำกัดของสมอง มันคือข้อจำกัดของคำว่า "สัญญาณ" และนี่คือใจกลางของหนังสือเล่มนี้
สิ่งที่เซลล์โดพามีนทำ ตอนที่ไม่มีใครคาด
มีคนเอาขั้ววัดจิ๋วไปจ่อเซลล์โดพามีนของลิงทีละเซลล์ แล้วดูว่ามันยิงสัญญาณตอนไหน
ตอนเริ่มฝึก ลิงยังไม่รู้จักงาน พอมีน้ำหวานหยดลงมา เซลล์ยิง — เซลล์หนึ่งในสี่ของทั้งหมดที่วัดได้ ทำแบบนั้น
ฟังดูตรงไปตรงมา ได้รางวัล เซลล์ยิง
แล้วลิงฝึกจนชำนาญ
พอถึงตอนนั้น น้ำหวานหยดลงมาเหมือนเดิม ปริมาณเท่าเดิม หวานเท่าเดิม ลิงชอบเท่าเดิม และจำนวนเซลล์ที่ยิงตอนได้น้ำหวานลดลงเหลือไม่ถึงหนึ่งในสิบ
เซลล์ย้ายไปยิงตอนอื่นแทน คือตอนที่ ไฟสัญญาณบอกว่าน้ำหวานกำลังจะมา
รางวัลยังอยู่ครบ แต่สัญญาณย้ายไปอยู่ที่ข่าว ไม่ใช่ที่ของ
แล้วลองไม่ให้ดู
การทดลองที่ชี้ขาดคือการหักหลังลิง
ไฟสัญญาณติด ลิงรู้ว่าน้ำหวานกำลังจะมาถึงในอีกกี่วินาที ถึงเวลานั้นพอดี นักวิจัยไม่ให้อะไรเลย
เซลล์ไม่ได้แค่เงียบ
มันยิง ต่ำกว่า ระดับปกติ ตรงวินาทีที่รางวัลควรจะมาถึงพอดี
หยุดตรงนี้แล้วคิดตามสักครู่ เพราะรายละเอียดนี้คือทั้งหมด เซลล์ไม่ได้รายงานว่า "มีน้ำหวาน" หรือ "ไม่มีน้ำหวาน" มันรายงานว่า ได้มากกว่าหรือน้อยกว่าที่คาดไว้เท่าไหร่
ได้มากกว่าคาด ยิงขึ้น · ได้ตามคาดพอดี เงียบ · ได้น้อยกว่าคาด ยิงลง
ชื่อทางเทคนิคของสิ่งนี้คือ reward prediction error และมันเป็นสิ่งเดียวกับที่ระบบเรียนรู้ของเครื่องจักรใช้อยู่ทุกวันนี้
ทำไมความฟินถาวรถึงไม่ใช่ปัญหาทางวิศวกรรม
ทีนี้เอาสองอย่างมาต่อกัน
ถ้าสิ่งที่ระบบรางวัลของคุณวัดคือส่วนต่างระหว่างสิ่งที่คาดกับสิ่งที่ได้ แล้วคุณอยากให้ส่วนต่างนั้นเป็นบวกตลอดเวลา คุณกำลังขออะไรอยู่
คุณกำลังขอให้ทุกอย่างดีกว่าที่คุณคาด ตลอดไป
แต่ความคาดหวังไม่ใช่ตัวเลขตายตัว มันถูกสร้างจากสิ่งที่เพิ่งเกิดขึ้น ถ้าอาทิตย์นี้ดีกว่าที่คาดทุกวัน อาทิตย์หน้าคุณจะคาดสูงขึ้น และส่วนต่างจะกลับมาเป็นศูนย์เอง โดยที่ไม่มีอะไรแย่ลงเลยสักอย่าง
นี่คือเหตุผลที่บ้านหลังใหม่ให้ความรู้สึกดีสองเดือน ไม่ใช่เพราะบ้านแย่ลง บ้านเหมือนเดิมทุกตารางเมตร สิ่งที่เปลี่ยนคือมันเลิกเป็นข่าว
ความฟินถาวรไม่ใช่โจทย์ที่ยาก มันคือโจทย์ที่ขัดกับตัวเอง — เหมือนขอให้ทุกวันเป็นวันที่อากาศดีกว่าค่าเฉลี่ย
ลองสังเกตตัวเองดู วันที่คุณรู้สึกดีจริง ๆ มักเป็นวันที่มีอะไรบางอย่างดีเกินคาด ไม่ใช่วันที่ทุกอย่างดีมากแต่เป็นไปตามที่คิดไว้
และตอนนี้ผมต้องรื้อสิ่งที่เพิ่งสร้าง
คำอธิบายข้างบนเรียบร้อยเกินไป
เรื่องที่เรียบร้อยเกินไปควรถูกสงสัย และคนที่สงสัยมันหนักที่สุดคือคนที่สร้างมันขึ้นมาเอง
นักประสาทวิทยาศาสตร์เจ็ดคนซึ่งรวมถึงคนที่ทำงานเรื่องนี้มาทั้งอาชีพ เขียนบทความร่วมกันเมื่อสองปีก่อน และระบุว่าคำอธิบายรูปแบบดั้งเดิมของ reward prediction error นั้น เรียบง่ายเกินไป
มีสามเรื่องที่ไม่เข้ากับภาพเดิม
เรื่องแรก โดพามีนในหนูที่กำลังเข้าใกล้รางวัลไม่ได้ยิงเป็นพัลส์ มันค่อย ๆ ไต่ขึ้นตามระยะทาง ซึ่งไม่ใช่รูปร่างของสัญญาณส่วนต่าง
เรื่องที่สอง และหนักที่สุด ปริมาณโดพามีนที่ ปล่อยออกมา ในสมองส่วนหน้า เปลี่ยนไปตามความคาดหวัง โดยที่อัตราการยิงของเซลล์ต้นทาง ไม่เปลี่ยนเลย แปลว่าการยิงกับการปล่อยเป็นคนละเรื่อง และสิ่งที่ปล่อยออกมาดูเหมือนจะเป็นการ ทำนาย มากกว่าจะเป็น ความคลาดเคลื่อนของการทำนาย
เรื่องที่สาม เซลล์โดพามีนไม่ได้รายงานตัวเลขตัวเดียวกันทั้งหมด บางเซลล์มองโลกในแง่ดี บางเซลล์แง่ร้าย เอามารวมกันแล้วสิ่งที่ได้ไม่ใช่ค่าเฉลี่ยของรางวัลที่คาด แต่เป็น การกระจายทั้งชุด ของรางวัลที่เป็นไปได้ งานปี 2025 ขยายไปอีกขั้น คือมันเข้ารหัสทั้งขนาดและเวลาพร้อมกัน
บทความร่วมที่ผมอ้างถึงตีพิมพ์ในปี 2024 และสิ่งที่ผมอยากให้คุณเก็บไปคือ reward prediction error ไม่ได้ถูกล้ม มันกำลังถูกขยาย
และตรรกะที่บทนี้ยืนอยู่บนนั้นไม่ได้เปลี่ยน ไม่ว่าระบบจะวัดค่าเฉลี่ยหรือวัดทั้งการกระจาย มันวัด ความต่างจากที่คาด อยู่ดี และความต่างจากที่คาดจะเป็นบวกตลอดไปไม่ได้
กลับไปที่มิเตอร์
บทที่สองบอกว่าความสุขคือมิเตอร์ บทนี้บอกว่ามิเตอร์ตัวนั้นวัดอะไร
มันวัดส่วนต่าง
และนั่นอธิบายเรื่องที่ดูขัดแย้งกันหลายเรื่องพร้อมกัน — ว่าทำไมสิ่งที่คุณเคยฝันถึงถึงกลายเป็นเรื่องธรรมดาภายในไม่กี่เดือน ทำไมคนที่มีน้อยกว่าคุณมากถึงหัวเราะได้บ่อยกว่า และทำไมการไล่ตามสิ่งถัดไปจึงให้ความรู้สึกดีกว่าการได้มันมาเสมอ
เรื่องสุดท้ายนั้นไม่ใช่ความผิดปกติของคุณ มันคือการอ่านค่าที่ถูกต้องของเครื่องมือที่ทำงานตามสเปก
ท่าที่เอาไปใช้ได้: ถ้าต้องการให้สิ่งดี ๆ ในชีวิตยังให้ความรู้สึกอยู่ อย่าเพิ่มปริมาณของมัน ให้เว้นระยะแทน — ความคาดหวังที่ลดลงคือสิ่งเดียวที่ทำให้ส่วนต่างกลับมาเป็นบวกได้ โดยไม่ต้องหาของที่ดีกว่าเดิม
จะพลิกคำตัดสินนี้ได้เมื่อ: มีการแสดงว่าระบบรางวัลของมนุษย์รายงานระดับสัมบูรณ์ ไม่ใช่ส่วนต่าง กล่าวคือมีสภาวะที่คงค่าเป็นบวกได้โดยไม่ต้องมีอะไรเกินความคาดหวัง
แหล่ง:
- Schultz W, Apicella P, Ljungberg T, Journal of Neuroscience 13(3):900–913, 1993 — https://www.jneurosci.org/content/13/3/900
- Schultz W, Dayan P, Montague PR, Science 275(5306):1593–1599, 1997 — https://www.science.org/doi/10.1126/science.275.5306.1593
- Gershman SJ และคณะ, Nature Neuroscience 27:1645–1655, 2024 (บทความร่วมที่ระบุว่ารูปแบบดั้งเดิมเรียบง่ายเกินไป) — https://www.nature.com/articles/s41593-024-01705-4
- Howe MW และคณะ, Nature 500(7464):575–579, 2013 (การไต่ขึ้นของโดพามีน) — https://www.nature.com/articles/nature12475
- Mohebi A และคณะ, Nature, 2019 (การปล่อยกับการยิงแยกจากกัน) — https://www.nature.com/articles/s41586-019-1235-y
- Dabney W และคณะ, Nature 577(7792), 2020 (distributional reinforcement learning) — https://www.nature.com/articles/s41586-019-1924-6
- Sousa M และคณะ, Nature, 2025 (แผนที่สองมิติของรางวัลในอนาคต) — https://www.nature.com/articles/s41586-025-09089-6