นักวิจัยของ NVIDIA เผยแพร่งานวิจัยชื่อ SparDA (Sparse Decoupled Attention) ที่เสนอวิธี ปรับแค่ชั้น attention เพียงเล็กน้อย แต่ทำให้โมเดลภาษาถอดรหัส (decode) เร็วขึ้นได้ถึง 1.7 เท่า โดยแทบไม่เพิ่มขนาดโมเดลเลย เป็นอีกก้าวของกระแส "sparse attention" ที่กำลังมาแรงตลอดปี 2026
เกิดอะไรขึ้น
- ไอเดียหลักคือการเติม "ตัวทำนายล่วงหน้า" (Forecast projection) เข้าไปเป็นชั้นที่สี่ในแต่ละบล็อก attention — มันจะช่วย เดาว่าเลเยอร์ถัดไปจะต้องใช้ข้อมูลส่วนไหน ทำให้โมเดลข้ามการคำนวณที่ไม่จำเป็นได้
- ส่วนที่เพิ่มเข้ามา ใช้พารามิเตอร์ไม่ถึง 0.5% — บนโมเดลขนาด 8 พันล้านพารามิเตอร์ (8B) เพิ่มเพียงราว 33.5 ล้านพารามิเตอร์ (0.41%) และฝึกเฉพาะส่วนนี้เท่านั้น ไม่ต้องรื้อฝึกทั้งโมเดลใหม่
- ผลทดสอบบนโมเดล MiniCPM4.1-8B และ NOSA-8B ให้ prefill เร็วขึ้นถึง 1.25 เท่า และ decode เร็วขึ้นถึง 1.7 เท่า เมื่อเทียบกับเบสไลน์ sparse-attention แบบเดิม
- เมื่อจัดการหน่วยความจำได้ดีขึ้น ทำให้ประมวลผลชุดข้อมูล (batch) ที่ใหญ่ขึ้นบน GPU ตัวเดียว จึงได้ throughput สูงขึ้นถึง 5.3 เท่า
- ที่สำคัญ ความแม่นยำไม่ลดลง — บน NOSA-8B ยัง เพิ่มขึ้น 6.5 คะแนน ในงานเหตุผลบริบทยาว
แปลว่าอะไร
ปัญหาใหญ่ของโมเดลภาษาคือ เมื่อบริบท (context) ยาวขึ้น การคำนวณ attention จะพองตัวแบบ กำลังสอง ทำให้ทั้งช้าและกินหน่วยความจำ งานอย่าง SparDA คือความพยายาม ตัดทิ้งการคำนวณที่ไม่จำเป็น โดยไม่ต้องเสียความแม่นยำ ซึ่งแปลตรง ๆ ว่า ต้นทุนการรันโมเดล (inference) ถูกลง และรองรับบริบทยาว ๆ ได้ดีขึ้น
"decode เร็วขึ้น 1.7 เท่า" หมายถึงตอนที่โมเดลกำลังพิมพ์คำตอบออกมาทีละโทเคน ยิ่งเร็ว = ผู้ใช้รอน้อยลง และผู้ให้บริการจ่ายค่า GPU ต่อคำตอบถูกลง
นี่เป็นงานวิจัย (ยังไม่ใช่ผลิตภัณฑ์สำเร็จรูป) แต่สะท้อนทิศทางชัดว่า สนามแข่งของ AI ปีนี้ไม่ได้อยู่ที่ "โมเดลใหญ่ที่สุด" อย่างเดียว แต่อยู่ที่ ใครรันได้ถูกและเร็วที่สุด เพราะเมื่อ AI ถูกฝังในทุกแอปและทุกเอเจนต์ ค่าใช้จ่ายต่อการเรียกใช้หนึ่งครั้งคือหัวใจของความอยู่รอด