LangChain อัปเกรดการสตรีมสำหรับ Agent ซับซ้อนให้เหนือกว่าแค่ Token ข้อความ

TL;DR

• LangChain ปรับปรุงโมเดลการสตรีมใหม่ให้รองรับเอาต์พุตของ Agent ที่หลากหลายกว่าแค่ข้อความธรรมดา เช่น การเรียกใช้เครื่องมือ, กิจกรรมของ subagent, และสื่อต่างๆ
• การใช้ typed events และ projections ช่วยให้นักพัฒนา Frontend สามารถ subscribe ข้อมูลเฉพาะประเภทได้โดยตรง ทำให้โค้ดจัดการง่ายขึ้น
• Scoped subscriptions ช่วยเพิ่มความสามารถในการ scale ให้กับ UI ของ Agent ที่ซับซ้อน โดยสตรีมเฉพาะส่วนที่จำเป็นของ agent tree ทำให้การแสดงผลมีประสิทธิภาพ
• โมเดลการสตรีมแบบครบวงจรนี้รองรับการทำงานทั้งแบบ local และ remote, SDK สำหรับ Frontend หลากหลาย, และข้อมูลแบบ multimodal

Agent สมัยใหม่มีความสามารถที่ซับซ้อนมากขึ้นเรื่อยๆ โดยสามารถทำงานได้หลากหลายเกินกว่าแค่การสร้างข้อความธรรมดา Agent เหล่านี้สามารถวางแผน, มอบหมายงานให้ subagent, เรียกใช้เครื่องมือภายนอก, รอการอนุมัติจากมนุษย์, และสร้างผลลัพธ์ที่หลากหลาย ซึ่งรวมถึงข้อมูลที่มีโครงสร้างและสื่อต่างๆ API การสตรีมแบบดั้งเดิมที่ออกแบบมาสำหรับการเรียกใช้โมเดลเพียงครั้งเดียวและสตรีม Token นั้นไม่เพียงพอต่อการจัดการกิจกรรมที่ซับซ้อนและหลากหลายเหล่านี้ เพื่อแก้ไขปัญหานี้ LangChain ได้เปิดตัว new streaming primitives ซึ่งมองการทำงานของ Agent เป็นสตรีมของ application events ที่มีโครงสร้าง แทนที่จะเป็นแค่กลุ่มข้อความดิบ

หัวใจสำคัญของการอัปเกรดนี้คือโมเดลการสตรีมแบบใหม่ที่สร้างขึ้นบนหลักการสำคัญสี่ประการ ประการแรกคือ typed events ซึ่งจะระบุประเภทของงานแต่ละอย่างที่ Agent ทำ พร้อมทั้งระบุประเภท (เช่น ข้อความ, การเรียกใช้เครื่องมือ, การเปลี่ยนแปลงสถานะ, สถานะของ subagent) และแหล่งที่มาภายใน execution tree ของ Agent ซึ่งช่วยให้เข้าใจสิ่งที่เกิดขึ้นได้ชัดเจนยิ่งขึ้น ประการที่สองคือ projections ที่ช่วยให้แอปพลิเคชันสามารถมองเห็นมุมมองที่ต้องการแสดงผลได้โดยเฉพาะ เช่น ข้อความ, การเรียกใช้เครื่องมือ, หรือสถานะของ subagent โดยมีการจัดการการประกอบ, การเรียงลำดับ, และการเชื่อมต่อใหม่โดย Runtime

นอกจากนี้ scoped subscriptions ยังเป็นส่วนสำคัญในการสร้าง User Interface ที่มีความสามารถในการ scale และมีประสิทธิภาพสำหรับ Agent ที่ซับซ้อน Frontend สามารถ subscribe เฉพาะช่องทางและส่วนต่างๆ ของ agent tree ที่กำลังแสดงผลอยู่เท่านั้น ซึ่งหมายความว่า subagent inspector จะไม่ต้องดาวน์โหลดผลลัพธ์จาก subagent อื่นๆ ทั้งหมด ทำให้ประสิทธิภาพดีขึ้นสำหรับ dashboards และ production workloads การสตรีมแบบเลือกสรรนี้มีความสำคัญอย่างยิ่งต่อการจัดการความซับซ้อนของกระบวนการ Agent ที่ทำงานระยะยาว

โมเดลการสตรีมแบบครบวงจรใหม่นี้ได้รับการออกแบบมาให้มีความสอดคล้องกันในสภาพแวดล้อมและรูปแบบต่างๆ รองรับทั้งการทำงาน Agent ทั้งแบบ local และ remote เพื่อประสบการณ์การพัฒนาที่ราบรื่น ยิ่งไปกว่านั้น ยังสามารถทำงานร่วมกับ SDK สำหรับ Frontend ต่างๆ ได้หลากหลาย รวมถึงแพ็คเกจที่พร้อมใช้งานบน npm เช่น React, Vue, Svelte, และ Angular และที่สำคัญคือรองรับข้อมูลหลากหลายประเภทนอกเหนือจากข้อความ ซึ่งรวมถึงการสตรีมสำหรับเครื่องมือ, รูปภาพ, เสียง, วิดีโอ, และ custom application events เปิดทางไปสู่การโต้ตอบของ Agent แบบ multimodal อย่างแท้จริง

เพื่อช่วยให้นักพัฒนาเริ่มต้นใช้งานความสามารถใหม่เหล่านี้ LangChain ได้เผยแพร่ streaming cookbook ซึ่งเป็นแหล่งข้อมูลที่มีตัวอย่างโค้ด Python และ TypeScript ที่สามารถรันได้จริง แสดงวิธีการใช้ streaming primitives ใหม่เพื่อสร้าง UI และ workflow ของ Agent ขั้นสูง ตัวอย่างเหล่านี้ครอบคลุม use case ที่หลากหลาย เพื่อแสดงให้เห็นถึงการจัดการและการแสดงผลลัพธ์ที่หลากหลายจาก Agent ที่ซับซ้อนได้อย่างมีประสิทธิภาพ คุณสามารถสำรวจตัวอย่างเหล่านี้ได้ที่ Streaming Cookbook

สำหรับผู้ที่ต้องการเจาะลึกเกี่ยวกับการใช้งานทางเทคนิค เอกสารของ LangGraph มีคำแนะนำเฉพาะเกี่ยวกับการสตรีมเหตุการณ์และการสร้าง custom projections ซึ่งมีประโยชน์อย่างยิ่งสำหรับนักพัฒนาที่ต้องการควบคุมการประมวลผลและแสดงผล Agent events ได้อย่างละเอียด สถาปัตยกรรมพื้นฐานนี้ยังเป็นส่วนประกอบสำคัญของ LangSmith Platform ซึ่งให้บริการด้าน observability สำหรับพฤติกรรมและประสิทธิภาพของ Agent

สรุป

• การพัฒนาล่าสุดของ LangChain ด้านการสตรีมช่วยให้ Agent สามารถสร้าง structured events ที่นอกเหนือไปจาก text tokens ธรรมดา ซึ่งรวมถึงการเรียกใช้เครื่องมือ, สื่อ, และการทำงานของ subagent
• Typed events และ projections ช่วยให้การพัฒนา Frontend ง่ายขึ้น โดยอนุญาตให้ subscribe ข้อมูลประเภทที่ต้องการได้โดยตรง ขณะที่ Runtime จะจัดการการประกอบ, การเรียงลำดับ, และการเชื่อมต่อใหม่
• Scoped subscriptions ช่วยให้ UI สามารถสตรีมเฉพาะส่วนที่เกี่ยวข้องของ agent execution tree เท่านั้น ซึ่งช่วยเพิ่มความสามารถในการ scale ให้กับแอปพลิเคชันที่ซับซ้อนได้อย่างมาก
• โมเดลการสตรีมแบบครบวงจรนี้รองรับทั้งการทำงาน local/remote, เฟรมเวิร์ก Frontend หลายตัวเช่น React และ Vue, รวมถึงข้อมูลประเภท multimodal

แหล่งที่มา: From Token Streams to Agent Streams