Vividh-ASR Benchmark แก้ปัญหาอคติใน Whisper สำหรับภาษาอินเดีย

TL;DR

• Vividh-ASR Benchmark เป็นเกณฑ์มาตรฐานใหม่ที่ออกแบบมาเพื่อตรวจจับและแก้ไขปัญหา studio-bias ในโมเดล Whisper สำหรับภาษาในอินเดีย
• สูตรการปรับแต่ง (fine-tuning recipe) ใหม่สามารถ เพิ่มความทนทาน ของโมเดล Whisper ในสภาวะเสียงที่หลากหลายได้อย่างมีนัยสำคัญ
• การปรับแต่งด้วย อัตราการเรียนรู้ที่สูง (2e-4) เป็นปัจจัยสำคัญที่ทำให้ประสิทธิภาพดีขึ้นอย่างมาก โดยเหนือกว่าโมเดล ASR ภาษาฮินดีและมาลายาลัมที่มีอยู่
• โมเดล Whisper ขนาด 244M พารามิเตอร์ ที่ผ่านการปรับแต่งด้วยสูตรนี้ สามารถทำงานได้ดีกว่าโมเดลสาธารณะอื่น ๆ ที่มีขนาดใหญ่กว่าถึง 6 เท่า

ในโลกของเทคโนโลยีการแปลงเสียงเป็นข้อความ (ASR) มีความท้าทายสำคัญที่นักพัฒนาต้องเผชิญ โดยเฉพาะอย่างยิ่งเมื่อต้องทำงานกับภาษาในอินเดีย ซึ่งโมเดล ASR ที่มีอยู่นั้น มักจะมีความลำเอียง (bias) ไปทางเสียงที่บันทึกในสตูดิโอที่สะอาด หรือเสียงอ่าน แต่เมื่อเจอกับการสนทนาที่เป็นธรรมชาติ หรือเสียงที่มีความซับซ้อนทางอะคูสติก โมเดลเหล่านี้กลับมีประสิทธิภาพลดลงอย่างมาก ปัญหานี้เรียกว่า studio-bias ทาง Adalat AI จึงได้พัฒนา Vividh-ASR Benchmark ขึ้นมาเพื่อเป็นเครื่องมือในการวินิจฉัยและแก้ไขปัญหานี้โดยเฉพาะ

Vividh-ASR ไม่ได้เป็นเพียงแค่ชุดข้อมูลทดสอบ แต่เป็นเกณฑ์มาตรฐานที่ออกแบบมาอย่างชาญฉลาด โดยมีการแบ่งระดับการประเมินตาม ความซับซ้อนทางอะคูสติก ออกเป็น 4 ระดับ (tiers) เพื่อให้เห็นภาพชัดเจนว่าโมเดลมีจุดอ่อนตรงไหน นอกจากนี้ ทางทีมยังได้พัฒนากระบวนการปรับแต่ง (fine-tuning recipe) สำหรับโมเดล Whisper ซึ่งช่วยเพิ่มความสามารถในการทำงานในทุกสภาวะเสียงที่หลากหลายได้อย่างเป็นระบบ การทดลองเริ่มต้นจากภาษามาลายาลัม และนำไปปรับใช้กับภาษาฮินดี โดยพบว่าการปรับแต่งด้วย อัตราการเรียนรู้ที่สูง (high learning rate) ที่ 2e-4 เพียงอย่างเดียว ก็เพียงพอที่จะทำให้โมเดลทำงานได้ดีกว่าโมเดล ASR ภาษาฮินดีและมาลายาลัมที่มีอยู่แล้วในปัจจุบัน

สิ่งที่น่าสนใจคือ การปรับแต่งโมเดล Whisper ที่มีพารามิเตอร์เพียง 244 ล้านพารามิเตอร์ ด้วยสูตรนี้ สามารถเอาชนะโมเดลสาธารณะอื่น ๆ ที่มีขนาดใหญ่กว่าถึง 6 เท่า เมื่อวัดจากอัตราข้อผิดพลาดคำ (Word Error Rate - WER) โดยไม่ต้องมีการเปลี่ยนแปลงสถาปัตยกรรมโมเดล หรือใช้ข้อมูลที่เป็นกรรมสิทธิ์ใด ๆ เลย ข้อค้นพบนี้ท้าทายสมมติฐานเดิม ๆ เกี่ยวกับการปรับแต่งโมเดล Whisper สำหรับภาษาที่มีทรัพยากรจำกัด โดยเฉพาะอย่างยิ่ง การฝึกโมเดลด้วยข้อมูลที่ง่ายก่อน (standard curriculum approach) กลับไม่ได้ช่วยเพิ่มประสิทธิภาพ และบางครั้งยังทำให้ผลลัพธ์แย่ลงอีกด้วย ในทางกลับกัน การฝึกด้วยสภาวะที่ยากก่อนกลับช่วยปรับปรุงประสิทธิภาพสำหรับภาษามาลายาลัมในส่วนของเสียงพูดที่เป็นธรรมชาติและมีเสียงรบกวน

Adalat AI ไม่ได้เก็บองค์ความรู้นี้ไว้เพียงลำพัง แต่ได้ปล่อย Vividh-ASR benchmark สำหรับภาษาฮินดีและมาลายาลัม ซึ่งประกอบด้วยข้อมูลประมาณ 36 ชั่วโมงสำหรับภาษาฮินดี และ 26 ชั่วโมงสำหรับภาษามาลายาลัม นอกจากนี้ ยังมีการปล่อยโมเดล Whisper ขนาด Small และ Medium ทั้งแบบปรับแต่งขั้นเดียว (single-stage fine-tuned) และหลายขั้นตอน (multistage fine-tuned) รวมถึงเวอร์ชันที่ปรับแต่งด้วยอัตราการเรียนรู้ที่สูง และเทคนิค Reverse Multi-Stage Fine-Tuning (R-MFT) เพื่อให้นักพัฒนาและนักวิจัยสามารถนำไปใช้ต่อยอดได้ Whisper Medium Hindi High LR Finetune Model เป็นตัวอย่างหนึ่งของโมเดลที่ปล่อยออกมา

การค้นพบเหล่านี้มีนัยสำคัญอย่างยิ่งสำหรับผู้ที่ทำงานด้าน ASR ในภาษาอินเดีย การเข้าใจถึงปัญหา studio-bias และวิธีการแก้ไขผ่านการปรับแต่งที่มีประสิทธิภาพ จะช่วยให้สามารถสร้างโมเดลที่ทำงานได้ดีในสภาพแวดล้อมจริง ไม่ใช่แค่ในสตูดิโอที่ควบคุมได้ การเปิดเผยทั้งเกณฑ์มาตรฐานและโมเดลที่ปรับแต่งแล้วนี้ เป็นการช่วยให้นักพัฒนาสามารถสร้างแอปพลิเคชัน ASR ที่มีความแม่นยำและน่าเชื่อถือมากขึ้นสำหรับภาษาอินเดีย ซึ่งจะเปิดโอกาสใหม่ ๆ ในการนำเทคโนโลยี AI มาใช้ประโยชน์ในหลากหลายอุตสาหกรรม

สรุป

• Vividh-ASR Benchmark และสูตรการปรับแต่งใหม่ของ Adalat AI ช่วยแก้ปัญหา studio-bias ในโมเดล Whisper สำหรับภาษาอินเดียได้อย่างมีประสิทธิภาพ
• การปรับแต่งด้วย อัตราการเรียนรู้ที่สูง (2e-4) เป็นเทคนิคสำคัญที่ทำให้โมเดล Whisper ขนาดเล็กสามารถ แซงหน้าโมเดลที่ใหญ่กว่า ในด้านความแม่นยำ
• Adalat AI ได้ปล่อย โมเดล Whisper และ Vividh-ASR Benchmark ให้ชุมชนนำไปใช้ฟรี เพื่อส่งเสริมการพัฒนา ASR ในภาษาอินเดีย
• ผลลัพธ์นี้แสดงให้เห็นถึงศักยภาพของโมเดล Whisper ในการทำงานกับภาษาที่มีทรัพยากรจำกัด เมื่อได้รับการปรับแต่งอย่างเหมาะสม

แหล่งที่มา: Vividh-ASR: Diagnosing and Fixing Studio-Bias in Whisper for Indic Languages