Blackwell คุ้มกว่า Hopper แค่ไหน? เมื่อวัดกันที่ต้นทุนต่อโทเคน

TL;DR

• NVIDIA ชู ต้นทุนต่อโทเคน (cost per token) เป็น KPI หลักสำหรับตัดสินใจโครงสร้างพื้นฐาน AI ยุค inference
• ตัวชี้วัดนี้สะท้อนกำไรและความสามารถในการสเกลได้ตรงกว่า FLOPS/$ หรือค่า GPU/ชั่วโมง
• ในข้อมูลที่ NVIDIA เผยแพร่ Blackwell ให้ต้นทุนต่อโทเคนต่ำกว่า Hopper อย่างมีนัยสำคัญ

ประเด็นหลักของ NVIDIA คือการตัดสินใจลงทุนระบบ AI ควรยึดตามผลลัพธ์เชิงธุรกิจที่ส่งมอบได้จริง มากกว่าดูสเปกฮาร์ดแวร์สูงสุดเพียงอย่างเดียว ตัวชี้วัดอย่าง FLOPS/$ หรือค่า GPU ต่อชั่วโมงยังมีประโยชน์ แต่ถ้าไม่ได้ผูกกับโทเคนที่ระบบผลิตได้จริงใน production ก็อาจทำให้ประเมินความคุ้มค่าคลาดเคลื่อนได้ ตามกรอบคิดที่ NVIDIA อธิบายใน บทความต้นทาง

เมื่อมองแบบนี้ cost per token จึงกลายเป็น KPI ที่เชื่อมทุกชั้นของระบบเข้าด้วยกัน ทั้งฮาร์ดแวร์ ซอฟต์แวร์ วิธีเสิร์ฟโมเดล และรูปแบบทราฟฟิกจริง NVIDIA อ้างอิงข้อมูลเปรียบเทียบที่ชี้ว่า Blackwell มีต้นทุนต่อโทเคนต่ำกว่า Hopper อย่างมีนัยสำคัญ ซึ่งอาจเปลี่ยนสมมติฐาน ROI ของการขยาย AI factory ได้เลย

อย่างไรก็ตาม ตัวเลขเชิง benchmark ไม่ควรถูกใช้แบบตรง ๆ กับทุกองค์กร เพราะต้นทุนจริงขึ้นกับการจูนทั้งระบบ เช่น batching policy, latency target, scheduler efficiency และ decoding strategy ดังนั้นแนวทางที่ปลอดภัยคือใช้ผลจากผู้ผลิตเป็นสัญญาณตั้งต้น แล้ว benchmark ซ้ำกับ workload ของทีมก่อน commit งบประมาณระยะยาว โดยอ้างอิงการเทียบภายนอกอย่าง SemiAnalysis InferenceX v2 เพิ่มเติม

สรุป

• หากดูเฉพาะ FLOPS/$ หรือค่าเครื่องต่อชั่วโมง อาจทำให้ประเมินความคุ้มค่าของระบบ inference คลาดเคลื่อน
• การใช้ cost-per-token ช่วยสะท้อนผลลัพธ์ทางธุรกิจได้ตรงกว่า เพราะวัดจาก output ที่ส่งมอบจริง
• ก่อน commit งบประมาณระยะยาว ควร benchmark กับงานจริงของทีมเพื่อยืนยันทั้งต้นทุน คุณภาพ และ throughput

แหล่งที่มา: Rethinking AI TCO: Why Cost per Token Is the Only Metric That Matters