En 2025, Amazon SageMaker AI experimentó avances notables en su infraestructura, con un enfoque en la capacidad, el rendimiento de precios, la observabilidad y la usabilidad. Estas mejoras buscan optimizar la implementación de modelos de inteligencia artificial, especialmente en tareas de inferencia.
Una de las innovaciones más destacadas es el lanzamiento de los Planes de Entrenamiento Flexibles, que permiten a los equipos reservar capacidad de cómputo específica para el despliegue de modelos de lenguaje a gran escala. Esto asegura una disponibilidad confiable de recursos GPU en momentos críticos, facilitando que las empresas superen las restricciones que podrían retrasar los despliegues y afectar el rendimiento en horas pico.
SageMaker AI también ha mejorado el rendimiento de precios a través de capacidades que optimizan la economía de la inferencia. Incluyen disponibilidad Multi-AZ, posicionamiento paralelo de copias de modelo y la introducción de EAGLE-3, mejorando la tasa de procesamiento de solicitudes mediante la decodificación especulativa.
Los componentes de inferencia de SageMaker AI ahora permiten una gestión más modular y flexible, facilitando la implementación de múltiples modelos y adaptaciones rápidas a la demanda. La nueva funcionalidad Multi-AZ mejora la resiliencia al minimizar puntos únicos de falla, distribuyendo cargas de trabajo entre varias zonas de disponibilidad.
Una mejora significativa es el escalado paralelo de componentes de inferencia, que reduce la latencia durante picos de tráfico al desplegar múltiples copias del modelo simultáneamente. Con EAGLE-3, se optimiza el rendimiento mediante la predicción de tokens futuros directamente desde las capas ocultas, ofreciendo una mayor precisión.
Además, SageMaker ha expandido su capacidad de gestión de adaptadores LoRA durante las invocaciones, optimizando el uso de recursos en modelos a demanda. Esta gestión dinámica permite registrar miles de modelos afinados sin comprometer la latencia.
Estas mejoras representan un avance significativo en la accesibilidad, confiabilidad y rentabilidad de la IA en producción, abordando desafíos cruciales para los profesionales del sector. La integración fluida entre personalización y despliegue de modelos permite a las organizaciones enfocarse más en el valor que sus modelos aportan, eliminando complejidades de infraestructura.
