AWS เปิดตัว Strands Evals สำหรับการประเมิน AI Agent

Strands Evals คืออะไร?

เมื่อเราพูดถึงการนำ AI Agent ไปใช้งานจริงในโปรดักชัน หลายคนอาจเจอความท้าทายที่การทดสอบซอฟต์แวร์แบบเดิมๆ ไม่สามารถรับมือได้ดีเท่าไหร่ เพราะ AI Agent นั้นมีความยืดหยุ่น ปรับตัวเก่ง และเข้าใจบริบท ซึ่งเป็นคุณสมบัติที่ทำให้มันทรงพลัง แต่ก็ทำให้ประเมินได้ยากอย่างเป็นระบบ

ปกติแล้ว การทดสอบซอฟต์แวร์จะอาศัยผลลัพธ์ที่คาดเดาได้ (deterministic outputs) คือใส่ input เดิม ก็ได้ output เดิมเสมอ แต่ AI Agent ไม่เป็นแบบนั้น พวกมันสร้างภาษาธรรมชาติ ตัดสินใจโดยอิงตามบริบท และอาจให้ผลลัพธ์ที่หลากหลายแม้จะใส่ input แบบเดียวกัน นี่แหละคือเหตุผลว่าทำไมการประเมินอะไรที่ไม่ใช่ deterministic ถึงต้องการวิธีการใหม่ๆ AWS เข้าใจปัญหานี้ดี จึงได้เปิดตัว Strands Evals ซึ่งเป็นเฟรมเวิร์กที่มีโครงสร้างชัดเจนสำหรับการประเมิน AI Agent โดยเฉพาะ

Strands Evals ถูกออกแบบมาสำหรับ AI Agent ที่สร้างด้วย Strands Agents SDK เลยนะ มันมาพร้อมกับเครื่องมือประเมิน (built-in evaluators) ที่ติดตั้งมาให้เลย, ความสามารถในการจำลองสถานการณ์แบบหลายเทิร์น (multi-turn simulation) และระบบรายงานผลที่ช่วยให้เราวัดและติดตามคุณภาพของ Agent ได้อย่างเป็นระบบ เพื่อดูว่า Agent ทำงานได้ตามที่เราต้องการจริงไหม อยากรู้รายละเอียดเพิ่มเติม ลองอ่าน คู่มือปฏิบัติการ Strands Evals ได้เลย

ทำไมการประเมิน AI Agent ถึงแตกต่างจากเดิม?

อย่างที่บอกไป AI Agent มีความซับซ้อนกว่าซอฟต์แวร์ทั่วไปมากๆ เพราะมันไม่ได้แค่สร้างข้อความอย่างเดียว แต่ยังลงมือทำสิ่งต่างๆ ได้ด้วย เช่น เรียกใช้เครื่องมือ (tools), ดึงข้อมูล หรือตัดสินใจระหว่างบทสนทนา ดังนั้น การประเมินแค่คำตอบสุดท้ายเพียงอย่างเดียวอาจไม่พอ เราต้องรู้ด้วยว่า Agent ทำตามขั้นตอนที่เหมาะสมเพื่อไปสู่คำตอบนั้นๆ หรือเปล่า

ยกตัวอย่างง่ายๆ ถาม Agent ว่า "อากาศที่โตเกียวเป็นยังไง?" คำตอบที่ถูกต้องอาจมีได้หลายแบบ Agent อาจจะบอกอุณหภูมิเป็นเซลเซียสหรือฟาเรนไฮต์ ใส่ข้อมูลความชื้นหรือลม หรือเน้นแค่ตัวเลขอุณหภูมิอย่างเดียวก็ได้ ความหลากหลายเหล่านี้ล้วนถูกต้องและมีประโยชน์ทั้งสิ้น ซึ่งนี่แหละคือจุดที่การทดสอบแบบเดิมๆ ไปไม่ถึง นอกจากนี้ คำตอบที่ถูกต้องตามข้อเท็จจริง แต่อาจไม่เป็นประโยชน์กับผู้ใช้ หรือเป็นประโยชน์แต่ไม่สอดคล้องกับแหล่งที่มา ก็เป็นอีกมิติที่ต้องประเมิน

อีกหนึ่งความท้าทายคือการสนทนาแบบหลายเทิร์น (multi-turn interactions) ที่คำตอบก่อนหน้าอาจส่งผลต่อคำตอบถัดไป Agent อาจจะตอบคำถามเดี่ยวๆ ได้ดี แต่กลับไม่สามารถรักษาบริบทของบทสนทนาโดยรวมได้ดีนัก การทดสอบแบบแยกเทิร์นทีละครั้งจึงพลาดรูปแบบการโต้ตอบที่สำคัญเหล่านี้ไปหมด การประเมิน Agent จึงต้องอาศัยการ "ตัดสินใจ" มากกว่าแค่การเปรียบเทียบคำหรือข้อความทั่วไป และนี่คือจุดที่ LLM-based Evaluators เข้ามาช่วยได้มาก เพราะการใช้ Large Language Models (LLMs) เป็นตัวประเมิน ทำให้เราสามารถวัดคุณภาพต่างๆ เช่น ความเป็นประโยชน์ (helpfulness), ความสอดคล้อง (coherence) และความน่าเชื่อถือ (faithfulness) ได้อย่างแม่นยำขึ้น

3 แนวคิดหลักของ Strands Evals

Strands Evals มีแนวคิดพื้นฐาน 3 อย่างที่ทำงานร่วมกัน เพื่อให้การประเมิน AI Agent ทำได้ง่ายขึ้น:

1. Cases: Cases คือสถานการณ์ทดสอบเดี่ยวๆ หนึ่งกรณี มันจะประกอบไปด้วย input ที่เราต้องการทดสอบ (เช่น คำถามจากผู้ใช้) พร้อมกับผลลัพธ์ที่คาดหวัง (expected outputs) ลำดับการใช้เครื่องมือที่คาดหวัง (expected tool sequences หรือที่เรียกว่า trajectories) และข้อมูลเมตาอื่นๆ Cases ถือเป็นหน่วยที่เล็กที่สุดของการประเมิน ที่แต่ละ Case จะกำหนดสถานการณ์เดียวที่ Agent ของคุณควรจะจัดการได้อย่างถูกต้อง

2. Experiments: Experiments จะรวมเอาหลายๆ Cases เข้าไว้ด้วยกัน พร้อมกับ Evaluators หนึ่งตัวหรือมากกว่านั้น ลองนึกภาพเหมือน test suite ในการทดสอบซอฟต์แวร์แบบดั้งเดิมเลย Experiments จะทำหน้าที่จัดกระบวนการประเมินทั้งหมด มันจะนำแต่ละ Case ไปรันกับ Agent ของคุณ แล้วนำผลลัพธ์ไปให้ Evaluators ที่ตั้งค่าไว้ประเมินและให้คะแนน

3. LLM-based Evaluators: Evaluators คือ "ผู้ตัดสิน" พวกมันจะตรวจสอบสิ่งที่ Agent สร้างขึ้นมา (output และ trajectory จริงๆ) แล้วนำไปเปรียบเทียบกับสิ่งที่คาดหวังไว้ แต่แทนที่จะเป็นการตรวจสอบแบบง่ายๆ Evaluators ใน Strands Evals ส่วนใหญ่เป็นแบบ LLM-based พวกมันใช้ Language Models ในการตัดสินใจอย่างละเอียดอ่อนเกี่ยวกับคุณภาพ ความเกี่ยวข้อง ความเป็นประโยชน์ และคุณสมบัติอื่นๆ ที่ไม่สามารถลดทอนเป็นการเปรียบเทียบข้อความธรรมดาได้

การแยกส่วนเหล่านี้ช่วยให้เฟรมเวิร์กมีความยืดหยุ่น คุณสามารถกำหนดว่าจะทดสอบอะไรด้วย Cases, จะทดสอบอย่างไรด้วย Evaluators และเฟรมเวิร์กจะจัดการการจัดระเบียบและการรายงานผลผ่าน Experiments แต่ละส่วนสามารถตั้งค่าได้อย่างอิสระ ทำให้คุณสามารถสร้างชุดการประเมินที่เหมาะกับความต้องการเฉพาะของคุณได้อย่างลงตัว

ประโยชน์ที่คุณจะได้รับ

Strands Evals ช่วยให้นักพัฒนาและทีมงานมั่นใจได้ว่า AI Agent ของตัวเองจะทำงานได้อย่างมีประสิทธิภาพและเชื่อถือได้ มันช่วยให้เราสามารถตรวจสอบได้ว่า Agent:

• ใช้เครื่องมือต่างๆ ได้อย่างถูกต้อง
• ให้คำตอบที่เป็นประโยชน์ต่อผู้ใช้
• นำทางผู้ใช้ไปสู่เป้าหมายที่ต้องการได้อย่างมีประสิทธิภาพ

ไม่ว่าคุณจะกำลังทดสอบ Agent ที่เพิ่งสร้างขึ้นใหม่ หรือวิเคราะห์ข้อมูลจาก Agent ที่ทำงานอยู่ในโปรดักชันมาหลายเดือน Strands Evals ก็มีโครงสร้างพื้นฐานด้านการประเมินและรายงานผลที่เหมือนกันให้ใช้งาน ช่วยให้กระบวนการทำงานของคุณง่ายขึ้นเยอะเลย

อ่านต่อ: อยากเจาะลึก Strands Evals มากกว่านี้ และดูตัวอย่างการใช้งานแบบเต็มๆ คลิกเลยที่ คู่มือปฏิบัติการ Strands Evals จาก AWS แล้วมาพัฒนา AI Agent ให้ฉลาดและเชื่อถือได้ไปพร้อมกัน!