Desain Prosesor dan Bottleneck Komputasi

GPU ที่ใช้สถาปัตยกรรม SIMD มีประสิทธิภาพสูงมากสำหรับการดำเนินงานเมทริกซ์แบบขนานที่เป็นหัวใจหลักของการฝึก แต่คอขวดตอนนี้อยู่ที่ bandwidth ของหน่วยความจำ ไม่ใช่ throughput ของการประมวลผล

เพราะโปรเซสเซอร์เร็วขึ้นเรื่อยๆ แต่ความเร็วในการถ่ายโอนข้อมูลระหว่าง HBM กับ core ไม่ได้เพิ่มขึ้นในอัตราเดียวกัน ภาวะ data starvation ทำให้ core หลายพันตัวนั่งว่างรอข้อมูล

การรวมหน่วยความจำเข้าใน die โดยตรงด้วยเทคโนโลยี 3D stacking สถาปัตยกรรม near-memory computing และชิปออกแบบเฉพาะอย่าง TPU ที่สร้างมาสำหรับ workload บางประเภทโดยเฉพาะ

เกี่ยวข้องมากสำหรับการ inference ที่ประหยัดพลังงานบน edge device แต่สำหรับการฝึกโมเดลขนาดใหญ่ ยังห่างไกลจากความสมบูรณ์ในเชิงพาณิชย์

ไม่ในเร็วๆ นี้ ควอนตัมคอมพิวเตอร์ปัจจุบันยังอยู่ในขั้น NISQ ที่มีอัตราความผิดพลาดสูง ข้อได้เปรียบเชิงควอนตัมสำหรับ ML บางอย่างยังคงเป็นแค่ทฤษฎี