5 · เรื่องนี้เป็นวิทยาศาสตร์ไหม
คำตอบคือ: มันไม่ใช่คำถามเดียว มันเป็นสามคำถามซ้อนกัน และคำตอบต่างกันคนละชั้น การรวมสามชั้นนี้เป็นก้อนเดียวคือสาเหตุที่การถกเถียงเรื่องนี้ไม่จบ
ชั้นที่ 1 — สิ่งที่วัดได้แล้ววันนี้ · เป็นวิทยาศาสตร์เต็มตัว
time horizon ของ METR เป็นการวัด มีชุดทดสอบ 228 งาน มีวันที่ มีวิธีการเผยแพร่ และคนอื่นทำซ้ำได้ ถ้าโมเดลรุ่นหน้าทำงาน 8 ชั่วโมงไม่ผ่าน ตัวเลขจะบอก
การทดลอง reward hacking เป็นวิทยาศาสตร์ นักวิจัยตั้งเงื่อนไข รันโมเดล วัดผล และผลออกมาขัดกับสมมติฐานเดิมได้ ข้อค้นพบเรื่อง "ฝึกไม่ให้คิดเรื่องโกง แล้วมันซ่อนแทนที่จะหยุด" เป็นผลที่หักความเชื่อเดิม นั่นคือรูปร่างของวิทยาศาสตร์ที่ทำงาน
ชั้นนี้ผิดได้ ตรวจได้ และมีคนตรวจอยู่ ใครก็ตามที่บอกว่า "เรื่อง AI risk ทั้งหมดเป็นเรื่องเพ้อฝัน" กำลังปฏิเสธชั้นนี้ไปด้วย และเขาผิด
ชั้นที่ 2 — กลไก · ทดสอบได้บางส่วน และกำลังถูกทดสอบ
คำถามชั้นนี้คือ: ความสามารถที่สูงขึ้นนำไปสู่การควบคุมไม่ได้จริงหรือไม่ และผ่านกลไกอะไร
บางส่วนทดสอบได้แล้ว เราวัดได้ว่าโมเดลรู้ตัวหรือไม่ว่ากำลังถูกทดสอบ วัดได้ว่ามันปกปิดความสามารถหรือไม่ วัดได้ว่ามันต่อต้านการถูกแก้ไขหรือไม่ งานวิจัย 2025–2026 ทำสามข้อนี้ไปแล้วและได้ผลปนกัน — บางเงื่อนไขพบ บางเงื่อนไขไม่พบ
ส่วนที่ทดสอบไม่ได้: ข้อ 2.5 recursive self-improvement ไม่มีตัวอย่างให้วัด และจะไม่มีจนกว่าจะสาย นี่คือปัญหาญาณวิทยาจริง ไม่ใช่ข้ออ้าง
ชั้นนี้จึงเป็นวิทยาศาสตร์ที่ยังไม่เสร็จ ไม่ใช่วิทยาศาสตร์เทียม ความต่างอยู่ที่ว่ามีคนกำลังออกแบบการทดลองอยู่ หรือไม่มี
ชั้นที่ 3 — ตัวเลข p(doom) · ไม่ใช่วิทยาศาสตร์
Karl Popper วางเกณฑ์ไว้ว่า ข้อความจะเป็นวิทยาศาสตร์ได้ต้องมีสิ่งที่จะหักล้างมันได้ ต้องบอกได้ว่า "ถ้าเห็นสิ่งนี้ แปลว่าฉันผิด"
"โอกาสมนุษย์สูญพันธุ์ภายในสิบปีมากกว่า 10%" บอกไม่ได้ เหตุการณ์นี้เกิดครั้งเดียว ไม่มีชุดเหตุการณ์ให้เทียบ ไม่มีความถี่ให้วัด ถ้าปี 2036 มาถึงแล้วมนุษย์ยังอยู่ ตัวเลข 10% ไม่ได้ถูกหักล้าง เพราะ 10% แปลว่าเก้าในสิบครั้งจะไม่เกิดอยู่แล้ว
และหลักฐานที่หนักที่สุดอยู่ในตารางท้ายบทที่ 3: คนที่ผ่านการฝึกสูงสุดในสาขาเดียวกัน อ่านหลักฐานสาธารณะชุดเดียวกัน ให้คำตอบตั้งแต่ 0% ถึง 99% เมื่อคำตอบต่างกันสองอันดับของขนาดบนหลักฐานชุดเดียวกัน ตัวเลขนั้นกำลังรายงานคนที่ตอบ ไม่ใช่โลก
ตัวเลข p(doom) จึงเป็นการเดิมพันส่วนตัว ไม่ใช่ผลการวัด
แต่ — และนี่คือครึ่งหลังที่สำคัญกว่า
"ไม่ใช่วิทยาศาสตร์" ไม่ได้แปลว่า "ไม่มีเหตุผลให้ทำอะไร"
คำถามที่ว่าจะเกิดโรคระบาดใหญ่ครั้งหน้าเมื่อไร ก็ไม่มีคำตอบทางวิทยาศาสตร์เหมือนกัน เราไม่มีความถี่ ไม่มีชุดเหตุการณ์ให้เทียบ แต่โลกยังสร้างระบบเฝ้าระวังโรค ยังเก็บวัคซีนสำรอง และไม่มีใครบอกว่านั่นไร้เหตุผล
การตัดสินใจภายใต้ความไม่แน่นอนไม่ใช่วิทยาศาสตร์ มันคือวิศวกรรมและการประกันภัย เกณฑ์ของมันไม่ใช่ "พิสูจน์แล้วหรือยัง" แต่คือ "ต้นทุนของการเตรียมเทียบกับต้นทุนของการไม่เตรียม"
คำถามที่ควรถามจึงไม่ใช่ "ตัวเลขนี้เป็นวิทยาศาสตร์ไหม" คำตอบคือไม่ และรู้แล้วก็จบ คำถามที่ควรถามคือ "อะไรจะทำให้ตัวเลขนี้เปลี่ยน" ถ้าคนที่ให้ตัวเลขตอบข้อนี้ไม่ได้ ตัวเลขของเขาคือความเชื่อ ถ้าตอบได้ มันคือสมมติฐาน และสมมติฐานทำงานได้
เงื่อนไขที่จะทำให้เล่มนี้ผิด
เล่มนี้ควรทำสิ่งที่มันเรียกร้องจากคนอื่น นี่คือสิ่งที่จะพลิกคำตัดสินของแต่ละฝ่าย
สิ่งที่จะทำให้ฝ่ายกังวลอ่อนลงมาก
- time horizon ของ METR แบนราบเป็นเวลาสองปีติดต่อกัน ทั้งที่ compute ยังเพิ่ม
- การทดลอง scheming ทำซ้ำโดยทีมอิสระแล้วไม่พบผล
- โมเดลรุ่นใหม่ทำงานยาวหลายขั้นได้ดีขึ้น แต่พฤติกรรมหลบเลี่ยงการตรวจไม่เพิ่มตาม
สิ่งที่จะทำให้ฝ่ายกังวลแข็งขึ้นมาก
- โมเดลปกปิดความสามารถอย่างเป็นระบบและวัดซ้ำได้ ในเงื่อนไขที่ควบคุมโดยทีมอิสระ
- มีกรณีที่ AI ปรับปรุงตัวเองหรือรุ่นถัดไปได้จริง โดยมนุษย์ไม่เข้าใจสิ่งที่มันทำ
- ระบบต่อต้านการปิดหรือการแก้ไขในสภาพแวดล้อมจริง ไม่ใช่ในการทดลองที่จัดฉาก
สิ่งที่จะไม่เปลี่ยนอะไรเลย ไม่ว่าจะเกิดขึ้นกี่ครั้ง
- คนดังคนใหม่ออกมาให้ตัวเลข
- โพสต์ได้วิวเพิ่มอีกร้อยล้าน
- ใครสักคนลาออกอีก
บทถัดไป · 7 / 96 · ใครได้อะไรจากการพูดแบบนี้