← Japanese conversations
Japanese · science · advanced · 399 characters · ~1 min

人工知能じんこうちのう機械学習きかいがくしゅう原理げんり

หลักการของปัญญาประดิษฐ์และการเรียนรู้ของเครื่อง
Principles of AI and Machine Learning

Two computer science researchers discuss neural network architectures, training methods, and the limits of current AI.

斎藤さん
ที่สถาปัตยกรรม Transformer มีประสิทธิภาพกับโมเดลภาษาขนาดใหญ่มากก็น่าจะเป็นเพราะกลไกการใส่ใจตนเองใช่ไหม?
野田さん
ใช่เลย
กลไกการใส่ใจตนเองช่วยให้คำนวณความสัมพันธ์ระหว่างตำแหน่งใดก็ได้ในลำดับแบบขนาน ซึ่งเหนือกว่า RNN อย่างมาก
斎藤さん
ที่กฎการปรับขนาดจะได้ผลมากขนาดนี้นั้นไม่ได้ถูกทำนายไว้ตั้งแต่แรก
野田さん
ความสัมพันธ์แบบกฎกำลังระหว่างจำนวนพารามิเตอร์ ข้อมูล และการคำนวณที่นำไปสู่ประสิทธิภาพการวางนัยทั่วไปที่ดีขึ้นนั้น มีหลักฐานเชิงประจักษ์ แต่คำอธิบายเชิงทฤษฎียังไม่เพียงพอ
斎藤さん
ควรอธิบายการปรากฏขึ้นของความสามารถที่เกิดขึ้นใหม่ในเชิงทฤษฎีอย่างไร?
野田さん
การถกเถียงว่าสิ่งนั้นเป็นการเกิดขึ้นใหม่ที่แท้จริง หรือแค่ดูเหมือนกระโดดขึ้นอย่างรวดเร็วเพราะความไม่ต่อเนื่องของตัวชี้วัด ยังดำเนินต่อไป
斎藤さん
คำถามว่า LLM ปัจจุบันมีการอนุมานในความหมายที่แท้จริงหรือไม่นั้นเป็นคำถามพื้นฐาน
野田さん
ว่ามันเป็นการประมาณรูปแบบสถิติขั้นสูง หรือมีการก่อตัวของตัวแทนแนวคิดภายในบางรูปแบบ นี่คือเหตุผลที่การวิจัยด้านการตีความได้สำคัญ
colour key NounVerbAdjectiveAdverbPronounParticleConjunctionDeterminer