En la acelerada carrera por mejorar las capacidades de la inteligencia artificial generativa, Amazon ha dado un paso adelante al introducir las nuevas instancias G6e en su plataforma SageMaker. Diseñadas específicamente para satisfacer las exigentes demandas de procesamiento en inferencia, estas instancias están equipadas con las potentes GPUs NVIDIA L40S Tensor Core. Este avance promete ofrecer a las empresas una solución más económica y de alto rendimiento.
Las G6e se destacan por su flexibilidad y potencia, permitiendo a las organizaciones elegir configuraciones con 1, 4 y hasta 8 GPUs L40S, cada una con 48 GB de memoria de alta capacidad. Esta configuración no solo mejora el rendimiento, sino que también optimiza los costos, convirtiéndolo en una opción atractiva para proyectos intensivos en datos.
Un punto fuerte de las nuevas instancias es la duplicación de la memoria GPU comparada con sus predecesoras G5 y G6. Esto habilita la implementación de modelos de lenguaje a gran escala de manera más eficiente. Por ejemplo, es posible desplegar un modelo de 14 mil millones de parámetros con solo una GPU, mientras que configuraciones más complejas, como un modelo de 72 mil millones, pueden ejecutarse en nodos con 4 GPUs.
En términos de conectividad, las instancias ofrecen hasta 400 Gbps de rendimiento de red, junto con una capacidad total de memoria GPU de hasta 384 GB. Estas especificaciones son un salto significativo en comparación con modelos anteriores, resultando en un desempeño superior, particularmente en aplicaciones de baja latencia como chatbots y modelos de inteligencia artificial conversacional.
Pruebas de benchmark han mostrado que las G6e.2xlarge alcanzan hasta un 37% de mejora en la latencia y un 60% de incremento en el rendimiento en comparación con las G5.2xlarge, especialmente en modelos avanzados como el Llama 3.1 8B. Además, las nuevas instancias superan problemas de memoria que afectaban a generaciones anteriores, asegurando un desempeño robusto para tareas complejas.
Por último, las ventajas en costos son notables al calcular el gasto por 1000 tokens en el despliegue de modelos avanzados, lo que refuerza la viabilidad económica de optar por las G6e. Con estas innovaciones, Amazon SageMaker se posiciona como una herramienta imprescindible para empresas que buscan escalar y optimizar sus aplicaciones de inteligencia artificial, ofreciendo versatilidad y eficiencia para los retos actuales del sector tecnológico.
