En el día de hoy, Amazon ha presentado una importante actualización para su herramienta SageMaker HyperPod, con la que los usuarios podrán desplegar modelos base desde Amazon SageMaker JumpStart, así como modelos personalizados o ajustados desde Amazon S3 o Amazon FSx. Esta innovación permite entrenar, ajustar y desplegar modelos utilizando los mismos recursos informáticos de HyperPod, optimizando la utilización de recursos durante todo el ciclo de vida del modelo.
SageMaker HyperPod ofrece una infraestructura robusta y de alto rendimiento, especialmente diseñada para el entrenamiento y ajuste de modelos a gran escala. Desde su lanzamiento en 2023, ha sido adoptada por creadores de modelos base que buscan reducir costos, minimizar tiempos de inactividad y acelerar su llegada al mercado. Con el apoyo de Amazon EKS, los usuarios pueden orquestar sus Clusters HyperPod, facilitando así la gestión de recursos y procesos.
Esta nueva versión incluye funcionalidades que aceleran el proceso de despliegue de modelos fundacionales. Entre las mejoras destacan la capacidad de desplegar más de 400 modelos de pesos abiertos con un solo clic desde SageMaker JumpStart, así como la opción de desplegar modelos personalizados desde diversas fuentes. Las organizaciones que utilizan Kubernetes como parte de su estrategia de inteligencia artificial generativa encontrarán beneficios en una implementación más eficiente y sencilla.
El sistema también permite un despliegue automatizado basado en la demanda, lo cual posibilita que los modelos gestionen picos de tráfico optimizando al mismo tiempo el uso de recursos en momentos de menor actividad. Además, la gobernanza de tareas de HyperPod prioriza las cargas de trabajo de inferencia, asegurando una utilización eficiente de los recursos.
Estos avances han sido diseñados para diferentes tipos de usuario, desde administradores de sistemas hasta científicos de datos y ingenieros de operaciones de Machine Learning. Ofrecen herramientas y métricas que facilitan la observabilidad y el manejo de las cargas de trabajo de inferencia.
Con estos desarrollos, Amazon SageMaker HyperPod ofrece a las organizaciones un camino claro para optimizar el ciclo de vida de sus modelos de inteligencia artificial, permitiendo una integración más fluida entre el entrenamiento y la producción, lo que promete mejorar tanto la eficiencia operativa como la rapidez con que los modelos se implementan en entornos productivos.
