Why Language Models Hallucinate เป็นเปเปอร์จากทาง OpenAI ที่พยายามอธิบายว่าทำไม AI ถึงหลอน
Hallucination คือการที่โมเดลสร้างคำตอบที่ ดูเหมือนจริงแต่ผิด ซึ่งผู้เขียนพยายามอธิบายว่ามันไม่ได้ลึกลับอะไร แท้จริงแล้วเป็นเพียงผลพลอยได้จาก การจำแนกผิด (misclassification) ในสถิติ เพราะโมเดลถูกฝึกและถูกประเมินในแบบทดสอบแบบไบนารี่ (binary grading):
• ตอบถูก = 1 คะแนน
• ตอบ “ไม่รู้” = 0 คะแนน
• ตอบผิด = 0 คะแนน
พอให้รางวัลการเดา มากกว่าการยอมรับว่า “ไม่รู้” (เช่น ตอบถูกได้รางวัล ตอบผิดไม่ได้รางวัล ถ้าไม่มั่นใจ เดาไป หรือมั่วไปก่อน อาจจะถูกก็ได้) ดังนั้นการ “เดา” มักจะ คุ้มกว่า การเว้นว่าง ผลคือโมเดลเรียนรู้ที่จะ bluff ไม่ต่างกับนักเรียนที่มั่วข้อสอบปรนัยในห้องสอบ
แม้จะสมมุติว่าข้อมูลฝึกไม่มีข้อผิดพลาดเลย แต่การ optimize cross-entropy loss ก็ยังนำไปสู่ generative errors อยู่ดี
ยิ่งไปกว่านั้น Benchmarks ส่วนใหญ่ (MMLU, GPQA, SWE-bench ฯลฯ) ต่างก็ ลงโทษความไม่แน่ใจ → กลายเป็นระบบที่ reward การโกหกมั่นใจๆ เพราะเหมือนเวลาตอบข้อสอบข้อเขียน ตอบอะไรไปมั่วๆ ยังได้คะแนนมากกว่าไม่เขียนอะไรเลย ยิ่งถ้าคนตรวจเองก็ไม่รู้คำตอบชัดเจน ก็ยิ่งให้คะแนนไม่ถูก
ผู้เขียนสรุปปัจจัยที่มกก่อให้เกิดความผิดพลาด (หลอน) ไว้คร่าวๆ ดังนี้
• Epistemic uncertainty: ไม่มีข้อมูลพอ เช่น วันเกิด obscure
• Poor models: สถาปัตยกรรมไม่เหมาะ เช่น trigram นับตัวอักษรผิด
• Computational hardness: ปัญหาคณิตเข้ารหัสที่ไม่มีใครแก้ได้
• Distribution shift: คำถามอยู่นอก distribution
• GIGO (Garbage in, Garbage out): ข้อมูลฝึกเองก็ผิด
ถ้าจะแก้ปัญหา ควรจะเปลี่ยนระบบการให้คะแนน ของ benchmark หลัก:
• ต้องไม่ลงโทษการเว้นว่างหรือ “ไม่รู้”
• เสนอให้มี confidence threshold ชัดเจน เช่น “ตอบได้ถ้ามั่นใจเกิน 75% มิฉะนั้นควรตอบว่าไม่รู้”
ซึ่งอาจจะเรียกวิธีแบบนี้ว่า behavioral calibration ซึ่งโมเดลต้องเลือก output ตามระดับความมั่นใจที่กำหนด ไม่ใช่มั่วเพื่อเก็บแต้ม
อ้างอิง:
- 1
โฆษณา
- ดาวน์โหลดแอปพลิเคชัน
- © 2025 Blockdit
