AWS เปิดตัว Nova Forge SDK สำหรับการปรับแต่ง LLM ระดับองค์กร

LLM (Large Language Model) เข้ามาเปลี่ยนวิธีที่เราโต้ตอบกับ AI ไปเยอะเลยเนอะ แต่รู้ไหมว่า LLM ที่มาแบบสำเร็จรูปเนี่ย บางทีก็ยังไม่ตอบโจทย์งานเฉพาะทาง หรืองานที่มีข้อมูลเชิงลึกของแต่ละองค์กรเท่าไหร่ ทำให้ต้องมีการปรับแต่ง (customize) โมเดลให้เข้าใจข้อมูลเฉพาะทางของตัวเองมากขึ้น แต่ขั้นตอนเหล่านี้มันก็ซับซ้อนและต้องใช้ความรู้เยอะพอสมควร

AWS เลยเปิดตัว Nova Forge SDK ขึ้นมา เพื่อแก้ปัญหานี้โดยเฉพาะเลย! เจ้า Nova Forge SDK เนี่ยจะมาช่วยให้การปรับแต่ง LLM สำหรับองค์กรเป็นเรื่องง่ายขึ้นเยอะ ลดความยุ่งยากในการจัดการ dependency และการตั้งค่าต่างๆ ทำให้เราสามารถสร้าง LLM ที่ตรงใจและทำงานได้ดีขึ้นกับข้อมูลเฉพาะทางของธุรกิจเราได้แบบไร้รอยต่อ

Nova Forge SDK คืออะไร?

Nova Forge SDK คือชุดเครื่องมือแบบครบวงจรที่ AWS สร้างขึ้นมาสำหรับลูกค้าและนักพัฒนาที่ต้องการปรับแต่งโมเดล Nova ต่างๆ ของ AWS โดยเฉพาะเลย ตัว SDK นี้ครอบคลุมขั้นตอนทั้งหมดของการปรับแต่งโมเดล ตั้งแต่การเตรียมข้อมูล การจัดการงานฝึกอบรม (training job management) ไปจนถึงการนำโมเดลไปใช้งาน (deployment)

สิ่งที่เจ๋งคือ SDK ตัวนี้รองรับการปรับแต่งโมเดลหลากหลายรูปแบบ ไม่ว่าจะเป็น Supervised Fine-Tuning (SFT), Reinforcement Fine Tuning (RFT) จาก Amazon Bedrock หรือความสามารถด้าน AI ของ Amazon SageMaker AI อย่าง SFT, Direct Preference Optimization (DPO), RFT รวมถึงการปรับแต่งแบบ LoRA และ full rank ด้วยนะ คือมีให้เลือกใช้ได้หมดตามความต้องการเลย รายละเอียดเพิ่มเติมสามารถอ่านได้ในบล็อก Introducing Nova Forge SDK

ทำงานยังไง? (เบื้องหลัง Nova Forge SDK)

ตัว SDK นี้ออกแบบมาให้ทำงานเป็น 3 ชั้นหลักๆ เพื่อให้การทำงานง่ายขึ้น:

Input Layer: ชั้นนี้คือที่เราใส่ข้อมูลต่างๆ เข้าไป ไม่ว่าจะเป็นการระบุฮาร์ดแวร์ แพลตฟอร์ม บทบาท IAM (IAM role) วิธีการฝึกอบรม (training method) ข้อมูลสำหรับฝึกอบรม พารามิเตอร์ต่างๆ (hyperparameters) ที่เราอยากจะปรับ รวมถึงโมเดลที่เราต้องการปรับแต่ง
Customizer Layer: ชั้นกลางนี้จะรับข้อมูลจาก Input Layer ไป แล้วจัดการตั้งค่าและเปิดใช้งานงานฝึกอบรมเบื้องหลังทั้งหมดให้เราแบบอัตโนมัติ
Output Layer: พอฝึกอบรมเสร็จ ชั้นนี้ก็จะส่งผลลัพธ์ออกมาเป็น artifacts ต่างๆ เช่น Log ใน Amazon CloudWatch Logs, เมตริกของ ML Flow, Log ของ TensorBoard และที่สำคัญคือโมเดลที่ผ่านการฝึกอบรมมาเรียบร้อยแล้ว (trained model artifact)

โมเดลที่ได้มานี้เราสามารถนำไปปรับแต่งเพิ่มเติมต่อได้อีก (iterative fine-tuning) หรือจะเอาไปใช้งานจริง (inference) บน Amazon SageMaker AI หรือ Amazon Bedrock ก็ได้เลย ส่วนแพลตฟอร์มประมวลผลที่ SDK ใช้คือ Amazon SageMaker Training Jobs (SMTJ) และข้อมูลสำหรับฝึกอบรมส่วนใหญ่ก็จะดึงมาจาก Amazon Simple Storage Service (Amazon S3) นั่นเอง

ทำไม Nova Forge SDK ถึงสำคัญสำหรับธุรกิจ?

การปรับแต่ง LLM ให้ตรงกับบริบททางธุรกิจเป็นสิ่งสำคัญมาก เพราะ LLM ทั่วไปอาจจะไม่ได้เข้าใจศัพท์เฉพาะทาง กระบวนการทำงาน หรือข้อมูลที่เป็นกรรมสิทธิ์ของแต่ละองค์กรอย่างลึกซึ้ง การใช้ Nova Forge SDK ช่วยให้ธุรกิจต่างๆ สามารถ:

ลดความซับซ้อน: ไม่ต้องเสียเวลาจัดการกับความยุ่งยากทางเทคนิค เช่น การจัดการ dependencies, การเลือก image หรือการตั้งค่าต่างๆ ที่ใช้เวลานาน
เร่งการทดลอง: นักพัฒนาสามารถโฟกัสไปที่การทดลองปรับแต่งโมเดลให้ได้ผลลัพธ์ที่ดีที่สุด แทนที่จะต้องมาปวดหัวกับเรื่องโครงสร้างพื้นฐาน
สร้าง LLM เฉพาะทาง: ทำให้ได้โมเดลภาษาขนาดใหญ่ที่เข้าใจและทำงานได้ดีเยี่ยมกับข้อมูลเฉพาะขององค์กร ตอบโจทย์ความต้องการทางธุรกิจได้อย่างแม่นยำ

นอกจากนี้ การใช้ Nova Forge SDK ยังช่วยแก้ปัญหา "catastrophic forgetting" หรือการที่โมเดลสูญเสียความสามารถพื้นฐานไปเมื่อถูก fine-tune ด้วยข้อมูลเฉพาะทางได้อีกด้วย โดย SDK จะช่วยให้เราสร้างโมเดลที่แข็งแกร่งและคงความสามารถเดิมไว้ได้ดีเยี่ยม

เริ่มต้นใช้งาน Nova Forge SDK ยังไง?

ก่อนจะเริ่มใช้ Nova Forge SDK มีข้อกำหนดเบื้องต้นบางอย่างที่เราต้องเตรียมให้พร้อมนะ:

บัญชี AWS และ AWS CLI: ต้องมีบัญชี AWS และติดตั้ง AWS Command Line Interface (CLI)
IAM Roles: ต้องสร้าง 2 บทบาท IAM (User role และ Execution role) โดยแต่ละบทบาทต้องมีสิทธิ์ (permissions) ที่เหมาะสมสำหรับการทำงานกับ Amazon SageMaker AI, Amazon S3 และ Amazon CloudWatch Logs
โควต้าบริการ (Service Quotas): ตรวจสอบให้แน่ใจว่ามีโควต้าสำหรับ instance ที่ใช้ในการฝึกอบรมเพียงพอ เช่น ml.p5.48xlarge ซึ่ง Nova Lite 2.0 ต้องการอย่างน้อย 4 instances สำหรับ SFT training

SDK นี้จะใช้ Amazon SageMaker Training Jobs (SMTJ) เป็นแพลตฟอร์มในการประมวลผล ดังนั้นจึงไม่จำเป็นต้องตั้งค่า Amazon SageMaker HyperPod cluster

Nova Forge SDK เป็นเครื่องมือที่ AWS พัฒนาขึ้นมาเพื่อให้นักพัฒนาสามารถปรับแต่ง LLM ให้ตอบโจทย์องค์กรได้ง่ายขึ้นมากๆ โดยลดความซับซ้อนและเปิดโอกาสให้เราสามารถสร้างสรรค์โมเดล AI ที่มีประสิทธิภาพสูงและตรงตามความต้องการเฉพาะของแต่ละธุรกิจได้อย่างแท้จริง

อ่านต่อ: อยากรู้รายละเอียดเพิ่มเติมหรือเริ่มต้นใช้งาน Nova Forge SDK ลองเข้าไปดูที่บล็อกอย่างเป็นทางการของ AWS ได้เลยที่นี่: Introducing Nova Forge SDK