P-EAGLE เร่งความเร็วการอนุมาน LLM ใน vLLM ด้วย Parallel Speculative Decoding

สวัสดีครับทุกคน! วันนี้เรามีข่าวดีสำหรับคนที่ทำงานเกี่ยวกับ Large Language Model (LLM) และกำลังมองหาวิธีเร่งความเร็วในการประมวลผลให้ดียิ่งขึ้นไปอีก ทาง AWS เขาได้เปิดตัวเทคนิคใหม่ที่ชื่อว่า P-EAGLE ซึ่งเป็นการพัฒนาต่อยอดมาจาก EAGLE ที่เรารู้จักกันดี โดย P-EAGLE ได้นำเอาการถอดรหัสเชิงคาดการณ์แบบขนาน (Parallel Speculative Decoding) เข้ามาช่วยให้การอนุมาน LLM เร็วขึ้นได้แบบก้าวกระโดดเลยทีเดียว

P-EAGLE คืออะไร และดีกว่าเดิมยังไง?

อย่างที่เราทราบกันว่า EAGLE เป็นวิธีที่ล้ำสมัยในการทำ speculative decoding สำหรับ LLM inference ซึ่งช่วยให้การสร้างข้อความจาก LLM เร็วขึ้นได้ 2-3 เท่า เมื่อเทียบกับการถอดรหัสแบบ autoregressive ทั่วไป แต่ถึงอย่างนั้น EAGLE ก็ยังมีข้อจำกัดอยู่บ้าง คือกระบวนการ "drafting" หรือการสร้างโทเค็นร่างยังเป็นแบบ autoregressive แปลว่าถ้าคุณอยากคาดการณ์โทเค็นร่างจำนวน K ตัว คุณก็จะต้องรัน K รอบ sequentially ผ่านโมเดล drafter ซึ่งตรงนี้แหละที่กลายเป็นคอขวด ทำให้ยิ่งคาดการณ์โทเค็นเยอะเท่าไหร่ เวลาที่ใช้ก็จะเพิ่มขึ้นตามไปด้วย

P-EAGLE ถูกออกแบบมาเพื่อแก้ปัญหานี้โดยเฉพาะ! มันขจัดคอขวดของการ drafting แบบ autoregressive ของ EAGLE ออกไป ด้วยการทำให้สามารถสร้างโทเค็นร่างจำนวน K ตัวได้ ในการรันไปข้างหน้า (forward pass) เพียงครั้งเดียว ซึ่งเป็นอะไรที่เจ๋งมาก ทำให้ประสิทธิภาพโดยรวมพุ่งกระฉูดเลยครับ

ความเร็วที่เพิ่มขึ้นอย่างเห็นได้ชัด

แล้วมันเร็วขึ้นแค่ไหนน่ะเหรอ? ทีมงานบอกว่า P-EAGLE สามารถทำความเร็วได้เพิ่มขึ้นถึง 1.69 เท่า เมื่อเทียบกับ EAGLE-3 บนภาระงานจริง เช่นการอนุมานด้วยโมเดล GPT-OSS 20B บนชุดทดสอบอย่าง MT-Bench, HumanEval, และ SpeedBench โดยใช้ GPU NVIDIA B200 นั่นหมายความว่า ถ้าคุณเคยประทับใจกับความเร็วของ EAGLE มาแล้ว P-EAGLE จะทำให้งานของคุณเสร็จเร็วขึ้นไปอีกขั้นนึงเลยครับ

นำไปใช้งานกับ vLLM ได้ง่ายๆ

ข่าวดีสำหรับผู้ใช้งาน vLLM (ซึ่งเป็นเฟรมเวิร์กยอดนิยมสำหรับการให้บริการ LLM ที่มีประสิทธิภาพสูง) คือ P-EAGLE ได้รับการรวมเข้ากับ vLLM แล้ว! คุณสามารถเริ่มใช้งานได้ตั้งแต่วเวอร์ชัน vLLM 0.16.0 เป็นต้นไป การเปิดใช้งานก็ง่ายนิดเดียว เพียงแค่ตั้งค่า "parallel_drafting": true ใน speculative configuration ของ vLLM ของคุณ แค่นี้ก็สามารถปลดล็อกประสิทธิภาพของการถอดรหัสเชิงคาดการณ์แบบขนานได้ทันที

นอกจากนี้ ยังมี pre-trained P-EAGLE heads ให้ดาวน์โหลดบน HuggingFace สำหรับโมเดลยอดนิยมอย่าง GPT-OSS 120B, GPT-OSS 20B และ Qwen3-Coder 30B อีกด้วย ทำให้คุณสามารถเริ่มทดลองใช้ P-EAGLE ได้เลยโดยไม่ต้องเสียเวลาเทรนเอง

ทำไม P-EAGLE ถึงสำคัญ?

P-EAGLE เป็นก้าวสำคัญที่ช่วยให้การอนุมาน LLM มีประสิทธิภาพสูงขึ้นไปอีกระดับ มันช่วยลดเวลาแฝงและเพิ่มปริมาณงาน (throughput) ซึ่งสำคัญมากสำหรับแอปพลิเคชัน LLM ในโลกแห่งความเป็นจริง ที่ต้องการความเร็วและประสิทธิภาพสูง เช่น แชทบอท การสร้างเนื้อหา หรือระบบตอบคำถามอัตโนมัติ การที่ P-EAGLE สามารถสร้างโทเค็นร่างได้ในรอบเดียว เป็นการเปลี่ยนเกมที่ช่วยให้เราสามารถทำ speculative decoding ได้อย่างดุดันมากขึ้นโดยไม่ต้องกังวลเรื่องคอขวดแบบเดิมๆ

นี่คือตัวอย่างความก้าวหน้าทางเทคนิคที่ช่วยให้ LLM กลายเป็นเครื่องมือที่มีประโยชน์และเข้าถึงได้ง่ายขึ้นสำหรับทุกคนครับ

อ่านต่อ: หากคุณสนใจรายละเอียดทางเทคนิคเพิ่มเติม หรือต้องการดูวิธีการตั้งค่าและใช้งาน P-EAGLE อย่างละเอียด สามารถเข้าไปดูได้ที่บล็อกต้นฉบับ P-EAGLE Faster LLM Inference on AWS Machine Learning Blog ได้เลยครับ