大型语言模型的原理与局限

ใช่ พูดง่ายๆ คือโมเดลภาษาขนาดใหญ่คือโมเดลความน่าจะเป็นที่ฝึกบนข้อความจำนวนมหาศาล โดยแต่ละครั้งจะทำนายคำที่มีโอกาสเป็นไปได้มากที่สุดถัดไป

ปัญหาที่ชัดเจนที่สุดคือ "ภาพหลอน" โดยโมเดลจะสร้างเนื้อหาที่ฟังดูสมเหตุสมผลแต่ผิดจริงๆ เพราะมันปรับให้ภาษาลื่นไหล ไม่ใช่ปรับให้ถูกต้องตามข้อเท็จจริง

ในแวดวงวิชาการยังมีข้อถกเถียงอยู่ งานวิจัยบางส่วนเชื่อว่าโมเดลกำลังทำการดำเนินการเชิงสัญลักษณ์บางอย่าง แต่มันขาดความเข้าใจเชิงเหตุและผลและโมเดลโลกที่แท้จริง

ยิ่งหน้าต่างยาว ต้นทุนการคำนวณความสนใจยิ่งเพิ่มขึ้นแบบกำลังสอง ข้อมูลที่เกินหน้าต่างโมเดลมองไม่เห็นเลย การประมวลผลเอกสารยาวเป็นความท้าทายที่ยังคงมีอยู่

เป็นทิศทางที่มีแนวโน้มดีมาก ให้โมเดลดึงความรู้จากฐานข้อมูลภายนอกระหว่างการอนุมาน ช่วยบรรเทาปัญหาภาพหลอนและความรู้ที่ถูกตัดออก แต่วิธีการดึงและรวมข้อมูลอย่างมีคุณภาพยังคงเป็นจุดวิจัยที่ร้อนแรง

ฉันให้ความสนใจเป็นพิเศษกับการทำความเข้าใจแบบหลายรูปแบบ การใช้เหตุผลระยะยาว และการวัดปริมาณความไม่แน่นอนที่ดีขึ้น ถ้าทั้งสามทิศทางนี้มีความก้าวหน้า ความเป็นประโยชน์ในทางปฏิบัติจะเพิ่มขึ้นอย่างมีนัยสำคัญ