กลับไปข่าวทั้งหมด
ภาษีโทเคน: ใช้ AI เป็นภาษาอื่นที่ไม่ใช่อังกฤษ จ่ายแพงกว่าสูงสุด 17 เท่า
AI

ภาษีโทเคน: ใช้ AI เป็นภาษาอื่นที่ไม่ใช่อังกฤษ จ่ายแพงกว่าสูงสุด 17 เท่า

SPV Tech Solutions27 ตุลาคม 25691 min
#ai#news#tokenizer#llm-cost#multilingual

ใครใช้ ChatGPT หรือ API ของ AI เป็นภาษาไทยอาจเคยสังเกตว่าโทเคนหมดเร็วกว่าตอนพิมพ์อังกฤษ ล่าสุด Rest of World รายงาน (26 ต.ค. 2026) ถึงงานวิจัยของ Coalition for Language Equity in AI Research (CLEAR) ที่วัดปรากฏการณ์นี้ออกมาเป็นตัวเลข และตั้งชื่อว่า "ภาษีโทเคน" (tokenizer tax)

เกิดอะไรขึ้น

โมเดล AI ไม่ได้อ่านข้อความเป็นคำ แต่หั่นเป็นหน่วยย่อยที่เรียกว่า โทเคน และคิดเงินตามจำนวนโทเคน ตัวหั่นคำ (tokenizer) ส่วนใหญ่ถูกออกแบบมาจากข้อมูลภาษาอังกฤษเป็นหลัก ประโยคเดียวกันในภาษาอื่นจึงมักถูกหั่นเป็นชิ้นเล็กกว่าและมีจำนวนโทเคนมากกว่า

ผลการศึกษาของ CLEAR พบว่า

  • ใน 20 ภาษายอดนิยมบนอินเทอร์เน็ต ภาษาที่แพงที่สุดใช้โทเคน มากกว่า 1.5-5 เท่า ของภาษาที่ถูกที่สุด
  • เมื่อขยายเป็น 200 ภาษา ช่องว่างในโมเดลหนึ่ง กว้างถึง 17 เท่า
  • ความเหลื่อมล้ำนี้เกิด แทบทุกโมเดล ที่อยู่ในการวิเคราะห์
  • ภาษาที่ใช้อักษรซึ่ง tokenizer ไม่ค่อยเห็นโดนหนักที่สุด เช่น พม่า ทิเบต เขมร ลาว และ Ol Chiki

งานวิจัยยกตัวอย่างว่า สตาร์ทอัพในเบงกาลูรูอาจต้อง "จ่ายส่วนเพิ่ม" ทุกครั้งที่ส่ง prompt ขณะที่คู่แข่งในออสตินไม่ต้อง

บทความต้นทาง ไม่ได้ระบุผลของภาษาไทย โดยตรง แต่ภาษาไทยก็ใช้อักษรของตัวเองและไม่เว้นวรรคระหว่างคำ ถ้าอยากรู้ต้นทุนจริงของงานคุณ วิธีที่แม่นที่สุดคือเอาข้อความจริงไปนับด้วย tokenizer ของโมเดลที่ใช้

แปลว่าอะไร

ผลกระทบไม่ได้มีแค่ค่าเงิน โทเคนที่มากขึ้นยังแปลว่า ตอบช้ากว่า และ context window ใช้ได้น้อยลง คือใส่เอกสารหรือประวัติแชตได้น้อยกว่าผู้ใช้ภาษาอังกฤษ ทั้งที่จ่ายค่าบริการเท่ากัน ซึ่ง Pratyush Choudhury จาก Activate AI มองว่าอาจทำให้คุณภาพบริการด้อยลงด้วย

ข้อเสนอจากผู้เชี่ยวชาญในบทความ เช่น ให้แล็บใหญ่ เผยแพร่ "สกอร์การ์ด" ต้นทุนรายภาษา และตั้งเป้าปรับปรุงภาษาที่เสียเปรียบที่สุด, ออกแบบ tokenizer รุ่นต่อไปให้รองรับภาษาและอักษรที่ถูกมองข้าม รวมถึงสนับสนุนการเก็บข้อมูลภาษาแบบเปิด

ด้าน Dheemanth Reddy จาก Maya Research มองว่าราคาโทเคนกำลังลดลงเร็วมาก แต่ปัญหาความเหลื่อมล้ำจะไม่หายเอง ถ้าแล็บไม่ตั้งใจแก้ที่ตัว tokenizer

ถ้าทำแชตบอตหรือระบบ AI ภาษาไทย (เช่นบน LINE) ลองเปรียบเทียบจำนวนโทเคนของข้อความเดียวกันในหลายโมเดลก่อนเลือกใช้ เพราะ tokenizer แต่ละค่ายหั่นภาษาไทยได้ไม่เท่ากัน ต้นทุนต่อข้อความจึงต่างกันได้มาก

สรุปสำคัญ

AI คิดเงินตามโทเคน และภาษาที่ไม่ใช่อังกฤษมักใช้โทเคนมากกว่า — ผู้ใช้ภาษาอื่นจึงจ่ายแพงกว่า ช้ากว่า และใส่ข้อมูลได้น้อยกว่าโดยไม่รู้ตัว

ที่มา

Rest of World
ถ้าข่าวนี้มีประโยชน์ แชร์ให้เพื่อนๆ ด้วยนะ