Amazon SageMaker เพิ่มเมตริกที่ละเอียดขึ้นสำหรับการตรวจสอบ AI Endpoint

การรันโมเดล Machine Learning (ML) ในขั้นตอน Production ไม่ได้ต้องการแค่โครงสร้างพื้นฐานที่เสถียรและปรับขนาดได้เท่านั้นนะ แต่เรายังต้องเห็นประสิทธิภาพและการใช้ทรัพยากรแบบเกือบเรียลไทม์ด้วย เมื่อไหร่ที่ latency เพิ่มขึ้น, การเรียกใช้ล้มเหลว, หรือทรัพยากรตึงตัว เราก็ต้องการข้อมูลเชิงลึกแบบทันทีเพื่อแก้ไขปัญหา ก่อนที่มันจะส่งผลกระทบกับลูกค้าของเรา

ที่ผ่านมา Amazon SageMaker AI มีเมตริกบน Amazon CloudWatch ที่ให้ภาพรวมระดับสูงได้ดี แต่เป็นข้อมูลรวมๆ ทั่วทั้ง Instance และ Container ซึ่งทำให้การระบุจุดคอขวด, การปรับปรุงการใช้ทรัพยากร, หรือการแก้ไขปัญหาเฉพาะจุดทำได้ยาก

ข่าวดีก็คือตอนนี้ Amazon SageMaker AI Endpoint รองรับ Enhanced Metrics ที่ให้ข้อมูลเชิงลึกที่ละเอียดขึ้นมากๆ แล้ว! บอกเลยว่าฟีเจอร์นี้จะช่วยให้เราสามารถมอนิเตอร์, แก้ไขปัญหา, และปรับปรุงประสิทธิภาพของ Production Endpoint ได้ดียิ่งขึ้นไปอีก ถ้าอยากรู้รายละเอียดเต็มๆ ลองดูที่บทความ Enhanced Metrics สำหรับ Amazon SageMaker AI Endpoints ได้เลย

Enhanced Metrics ของ SageMaker AI Endpoint คืออะไร?

Enhanced Metrics ใหม่นี้จะทำให้เรามองเห็นประสิทธิภาพและการใช้ทรัพยากรของโมเดล ML ที่อยู่ใน Production ได้อย่างละเอียดมากๆ ไม่ว่าจะเป็นที่ระดับ Instance หรือ Container ซึ่งมันจะแบ่งเป็น 2 หมวดหลักๆ คือ:

EC2 Resource Utilization Metrics: เมตริกนี้จะช่วยติดตามการใช้งาน CPU, GPU, และ Memory ทั้งในระดับ Instance และ Container สำหรับ Instance ที่ใช้ Accelerator ก็จะเห็นการใช้งาน GPU และ Memory ต่อ GPU ได้ด้วย
Invocation Metrics: ส่วนนี้จะมอนิเตอร์รูปแบบการเรียกใช้ (Request Patterns), ข้อผิดพลาด (4XX/5XX errors), Latency ของโมเดล และ Overhead Latency โดยมีมิติข้อมูลที่แม่นยำทั้งในระดับ Instance และ Container

เจาะลึก: เมตริกที่ละเอียดในระดับต่างๆ

ความเจ๋งของ Enhanced Metrics คือการให้ข้อมูลเชิงลึกที่แตกต่างกันไปตามการตั้งค่า Endpoint ของเรา:

เมตริกระดับ Instance (Instance-level metrics) เมตริกนี้มีให้ใช้สำหรับ SageMaker AI Endpoints ทุกตัวเลยนะ ทำให้เราเห็นสิ่งที่เกิดขึ้นในแต่ละ Amazon EC2 Instance ได้อย่างชัดเจน ไม่ว่าจะเป็นการใช้ CPU, Memory, และการใช้ GPU (สำหรับ Instance ที่มี) ถ้ามีปัญหาอะไรเกิดขึ้น เราก็จะระบุได้ทันทีว่า Instance ไหนที่ต้องไปดูเป็นพิเศษ
เมตริกระดับ Container (Container-level metrics) สำหรับใครที่ใช้ Inference Components เพื่อโฮสต์หลายๆ โมเดลบน Endpoint เดียว ตอนนี้เราสามารถดูข้อมูลระดับ Container ได้แล้ว! นั่นหมายความว่าเราจะเห็นการใช้ทรัพยากรและรูปแบบการเรียกใช้ของ "โมเดลแต่ละ copy" ได้เลย โดยจะมีมิติข้อมูลอย่าง InferenceComponentName และ ContainerId ให้ด้วย

ทำไมเมตริกเหล่านี้ถึงสำคัญ?

เมตริกที่ละเอียดขึ้นเหล่านี้มีประโยชน์มากๆ เลยนะ มันช่วยให้เราสามารถ:

ระบุจุดคอขวด (Bottlenecks): หาได้ง่ายขึ้นว่าส่วนไหนของระบบที่ทำให้ประสิทธิภาพลดลง
วินิจฉัยการกระจายทราฟฟิกที่ไม่สม่ำเสมอ: ตรวจสอบว่ามี Instance ไหนที่รับโหลดงานมากเกินไปหรือไม่
ระบุ Instance ที่เกิดข้อผิดพลาดบ่อย: หาต้นตอของปัญหาได้รวดเร็วขึ้น
คำนวณต้นทุนต่อโมเดล: สามารถติดตามการจัดสรร GPU ในระดับ Inference Component ได้ ทำให้เราคำนวณต้นทุนที่แท้จริงของแต่ละโมเดลได้แม่นยำขึ้น โดยเฉพาะในกรณีที่มีหลายโมเดลแชร์โครงสร้างพื้นฐานเดียวกัน

เริ่มต้นใช้งานง่ายๆ

การเปิดใช้งาน Enhanced Metrics ก็แสนง่ายดาย เพียงแค่เพิ่ม EnableEnhancedMetrics: True ลงไปในการตั้งค่า Endpoint (Endpoint Configuration) ของเราตอนที่สร้าง Endpoint

response = sagemaker_client.create_endpoint_config(
  EndpointConfigName='my-config', 
  ProductionVariants=[{ 
    'VariantName': 'AllTraffic', 
    'ModelName': 'my-model', 
    'InstanceType': 'ml.g6.12xlarge', 
    'InitialInstanceCount': 2 
  }], 
  MetricsConfig={ 
    'EnableEnhancedMetrics': True,
    'MetricsPublishFrequencyInSeconds': 60, # สามารถปรับได้ (ค่าเริ่มต้น 60 วินาที)
  })

เรายังสามารถกำหนดความถี่ในการเผยแพร่เมตริกได้ด้วย MetricsPublishFrequencyInSeconds ซึ่งค่าเริ่มต้นจะอยู่ที่ 60 วินาที แต่ถ้าต้องการการมอนิเตอร์แบบเกือบเรียลไทม์สำหรับแอปพลิเคชันที่สำคัญมากๆ ก็สามารถปรับเป็น 10 หรือ 30 วินาทีได้

อ่านต่อ: อยากรู้รายละเอียดเพิ่มเติม หรือดูตัวอย่างการใช้งานแบบเต็มๆ คลิกเลยที่ Enhanced Metrics สำหรับ Amazon SageMaker AI Endpoints เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับการจัดการ ML Models ของคุณ!