← Japanese conversations Japanese · science · advanced · 399 characters · ~1 min
人工知能と機械学習の原理
หลักการของปัญญาประดิษฐ์และการเรียนรู้ของเครื่อง
Principles of AI and Machine Learning
Two computer science researchers discuss neural network architectures, training methods, and the limits of current AI.
Sign in to save texts and track what you've read.
斎藤さん ? ที่สถาปัตยกรรม Transformer มีประสิทธิภาพกับโมเดลภาษาขนาดใหญ่มากก็น่าจะเป็นเพราะกลไกการใส่ใจตนเองใช่ไหม?
野田さん 。 กลไกการใส่ใจตนเองช่วยให้คำนวณความสัมพันธ์ระหว่างตำแหน่งใดก็ได้ในลำดับแบบขนาน ซึ่งเหนือกว่า RNN อย่างมาก
斎藤さん 。 ที่กฎการปรับขนาดจะได้ผลมากขนาดนี้นั้นไม่ได้ถูกทำนายไว้ตั้งแต่แรก
野田さん 。 ความสัมพันธ์แบบกฎกำลังระหว่างจำนวนพารามิเตอร์ ข้อมูล และการคำนวณที่นำไปสู่ประสิทธิภาพการวางนัยทั่วไปที่ดีขึ้นนั้น มีหลักฐานเชิงประจักษ์ แต่คำอธิบายเชิงทฤษฎียังไม่เพียงพอ
斎藤さん ? ควรอธิบายการปรากฏขึ้นของความสามารถที่เกิดขึ้นใหม่ในเชิงทฤษฎีอย่างไร?
野田さん 、。 การถกเถียงว่าสิ่งนั้นเป็นการเกิดขึ้นใหม่ที่แท้จริง หรือแค่ดูเหมือนกระโดดขึ้นอย่างรวดเร็วเพราะความไม่ต่อเนื่องของตัวชี้วัด ยังดำเนินต่อไป
斎藤さん 。 คำถามว่า LLM ปัจจุบันมีการอนุมานในความหมายที่แท้จริงหรือไม่นั้นเป็นคำถามพื้นฐาน
野田さん 、、。 ว่ามันเป็นการประมาณรูปแบบสถิติขั้นสูง หรือมีการก่อตัวของตัวแทนแนวคิดภายในบางรูปแบบ นี่คือเหตุผลที่การวิจัยด้านการตีความได้สำคัญ
colour key NounVerbAdjectiveAdverbPronounParticleConjunctionDeterminer