SageMaker AI lanza capacidades de observabilidad para endpoints de inferencia: métricas clave en tiempo real
Introducción Operar endpoints de inferencia de modelos de lenguaje grande (LLM) en producción implica monitorear decenas de variables que impactan la experiencia del usuario final: desde el tiempo hasta el…