เร่งการปรับแต่ง LLM ด้วยข้อมูลที่ไม่มีโครงสร้างผ่าน SageMaker และ S3

ช่วงนี้กระแส LLM (Large Language Model) มาแรงแซงทางโค้งมากๆ เลยใช่ไหมครับ และหนึ่งในความท้าทายสำคัญคือการทำให้ LLM ฉลาดขึ้นและเข้าใจบริบทของข้อมูลเฉพาะทาง ซึ่งการจะทำแบบนั้นได้ ก็ต้องมีการ Fine-tuning หรือการปรับแต่งโมเดลเพิ่มเติมด้วยข้อมูลของเราเอง

ข่าวดีล่าสุดจาก AWS คือเค้าได้ประกาศการผสานรวมที่เจ๋งสุดๆ ระหว่าง Amazon SageMaker Unified Studio กับ Amazon S3 general purpose buckets ทำให้เราสามารถนำข้อมูลที่ไม่มีโครงสร้าง (unstructured data) มาใช้กับการทำ Machine Learning และ Data Analytics ได้ง่ายขึ้นเยอะเลย! บทความนี้จะพาไปดูกันว่าฟีเจอร์นี้ช่วยเร่งการปรับแต่ง LLM ยังไง โดยเฉพาะกับเคสการตอบคำถามด้วยภาพ (Visual Question Answering - VQA) ของโมเดล Llama 3.2

SageMaker Unified Studio กับ S3 คืออะไร?

ลองนึกภาพว่าคุณมีข้อมูลดิบมากมายที่ยังไม่ได้จัดระเบียบ เช่น รูปภาพ เอกสาร สแกน ไฟล์ PDF หรือข้อความต่างๆ ใน Amazon S3 ซึ่งปกติแล้วการจะเอาข้อมูลพวกนี้มาใช้กับ ML เนี่ย ต้องผ่านกระบวนการจัดการที่ซับซ้อนและใช้เวลานาน

การผสานรวมระหว่าง Amazon SageMaker Unified Studio และ Amazon S3 นี้เข้ามาช่วยให้กระบวนการเหล่านั้นง่ายขึ้นมาก โดยเฉพาะอย่างยิ่งกับการดึงข้อมูลที่ไม่มีโครงสร้างจาก S3 มาใช้โดยตรงใน SageMaker Unified Studio ซึ่งเป็นแพลตฟอร์มครบวงจรสำหรับการพัฒนา ML ทำให้ทีมต่างๆ สามารถทำงานร่วมกัน จัดการข้อมูล และปรับแต่งโมเดลได้อย่างราบรื่นขึ้น

ทำไมถึงสำคัญกับการปรับแต่ง LLM?

ข้อมูลที่ไม่มีโครงสร้างเป็นแหล่งความรู้ขนาดใหญ่ที่ LLM สามารถเรียนรู้ได้ แต่ก่อนหน้านี้การนำข้อมูลเหล่านี้มา Fine-tuning LLM เป็นเรื่องที่ค่อนข้างยุ่งยากและต้องใช้ทักษะเฉพาะทางสูง ฟีเจอร์ใหม่นี้จึงเข้ามาแก้ปัญหานี้ได้ตรงจุด ทำให้:

เข้าถึงข้อมูลได้ง่ายขึ้น: ไม่ต้องย้ายข้อมูลไปมาให้วุ่นวาย
ลดความซับซ้อน: กระบวนการจัดการข้อมูลง่ายขึ้นมาก
เร่งความเร็ว: ทำให้เราสามารถ Fine-tuning LLM ได้เร็วขึ้น และนำโมเดลไปใช้งานได้เร็วขึ้น
เพิ่มประสิทธิภาพ: ช่วยให้ LLM เรียนรู้จากข้อมูลจริงของเราได้อย่างเต็มที่ ทำให้โมเดลตอบคำถามได้แม่นยำและตรงบริบทมากขึ้น

ตัวอย่างการปรับแต่ง Llama 3.2 สำหรับ VQA

ในบทความต้นฉบับ เค้าได้สาธิตการ Fine-tuning โมเดล Llama 3.2 11B Vision Instruct เพื่อใช้งานกับเคส VQA ซึ่งก็คือการให้ LLM ดูรูปภาพและตอบคำถามเกี่ยวกับรูปภาพนั้นๆ เช่น ถามว่า "วันที่ในใบเสร็จนี้คือเมื่อไหร่?"

นี่คือรายละเอียดการทดลองที่น่าสนใจ:

โมเดลเริ่มต้น: ใช้ Llama 3.2 11B Vision Instruct ที่หาได้จาก Amazon SageMaker JumpStart ซึ่งตัวนี้ตอนแรกทำคะแนน Average Normalized Levenshtein Similarity (ANLS) ได้ 85.3% บนชุดข้อมูล DocVQA (ซึ่งเป็นคะแนนที่ดีแล้วนะ!)
ชุดข้อมูล Fine-tuning: ใช้ชุดข้อมูล DocVQA จาก Hugging Face ที่มีข้อมูลฝึกฝนถึง 39,500 แถว
การทดลอง: เพื่อดูว่าขนาดข้อมูลมีผลยังไงต่อประสิทธิภาพ เค้าได้สร้างโมเดลที่ถูก Fine-tuning 3 เวอร์ชัน โดยใช้ชุดข้อมูลขนาดต่างๆ กันคือ 1,000, 5,000 และ 10,000 รูปภาพ
การติดตามและประเมินผล: ใช้ Amazon SageMaker fully managed serverless MLflow ในการติดตามการทดลองและประเมินว่าโมเดลมีการปรับปรุงความแม่นยำไปมากน้อยแค่ไหน
การจัดการภาพรวม: ทุกขั้นตอน ตั้งแต่การนำเข้าข้อมูล การพัฒนาโมเดล ไปจนถึงการประเมินผลตัวชี้วัด ถูกจัดการทั้งหมดผ่าน Amazon SageMaker Unified Studio ทำให้เป็น Workflow ที่ครบวงจรและจัดการง่ายมากๆ

ข้อควรรู้: สำหรับงานเทรนนิ่งนี้อาจจะต้องใช้ Compute แบบ p4de.24xlarge ซึ่งอาจจะต้องมีการร้องขอเพิ่มโควต้าบริการ (service quota increase) ก่อนเริ่มใช้งานนะครับ

เหมาะกับใครและเริ่มต้นยังไง?

ฟีเจอร์นี้เหมาะกับนักวิทยาศาสตร์ข้อมูล วิศวกร ML หรือทีมพัฒนา AI ที่ต้องการ Fine-tune LLM ด้วยข้อมูลเฉพาะทางที่มักอยู่ในรูปแบบที่ไม่มีโครงสร้าง เพื่อให้ได้โมเดลที่มีความแม่นยำและใช้งานได้จริงในธุรกิจ

การเริ่มต้นใช้งานก็ค่อนข้างตรงไปตรงมา โดยจะต้องมี AWS account, สร้าง Amazon SageMaker Unified Studio domain, มี S3 bucket ที่มีข้อมูลพร้อม และอย่าลืมเรื่องการเพิ่มโควต้าสำหรับ compute ที่จำเป็นนะครับ

โดยรวมแล้ว การผสานรวมระหว่าง SageMaker Unified Studio และ S3 นี้ ถือเป็นก้าวสำคัญที่จะทำให้การพัฒนา LLM เข้าถึงได้ง่ายขึ้น เร็วขึ้น และมีประสิทธิภาพมากขึ้น โดยเฉพาะสำหรับใครที่ต้องทำงานกับข้อมูลที่ไม่มีโครงสร้างเยอะๆ ครับ

อ่านต่อ: เร่งการปรับแต่ง LLM ด้วยข้อมูลที่ไม่มีโครงสร้างผ่าน SageMaker และ S3 เพื่อดูรายละเอียดทางเทคนิคและขั้นตอนการใช้งานแบบเจาะลึกได้เลย!