Amazon ha revelado una nueva funcionalidad en su plataforma de inteligencia artificial, SageMaker AI, diseñada para afinar modelos GPT-OSS mediante el uso de recetas de SageMaker HyperPod y trabajos de entrenamiento. Este desarrollo se enmarca en una serie de publicaciones que apuntan a optimizar estos modelos para realizar razonamientos estructurados en múltiples idiomas.
En anteriores partes de esta serie, se explicó cómo los modelos GPT-OSS podían mejorarse usando bibliotecas de código abierto de Hugging Face en procesos de entrenamiento en SageMaker. Ahora, las recetas de SageMaker HyperPod permiten a los usuarios comenzar rápidamente con el ajuste fino de modelos avanzados de inteligencia artificial como Llama de Meta y Mistral. Estas recetas están preconfiguradas y validadas para simplificar la creación de entornos de entrenamiento distribuidos, proporcionando un rendimiento escalable de nivel empresarial.
La funcionalidad de SageMaker HyperPod facilita la ejecución de trabajos de ajuste fino mediante Amazon Elastic Kubernetes Service (EKS). Para aprovechar esta herramienta, las organizaciones deben contar con una configuración inicial que incluya un entorno de desarrollo local con credenciales de AWS y una serie de instancias específicas como ml.p5.48xlarge.
El proceso comienza con la preparación de un dataset adecuado, en este caso el «HuggingFaceH4/Multilingual-Thinking», diseñado para razonamiento en varios idiomas. Tras la tokenización de los datos, las recetas permiten someter el trabajo de ajuste fino, y finalmente, el modelo entrenado es implementado en un endpoint de SageMaker para pruebas y evaluación.
Expertos en la materia destacan que SageMaker no solo facilita la capacitación de modelos con recursos temporales, sino que ofrece un entorno persistente para el desarrollo continuo a través de HyperPod. Esto permite a las organizaciones experimentar de manera más eficiente.
El despliegue de estos modelos ajustados se realiza utilizando contenedores optimizados en Amazon Elastic Container Registry (ECR), asegurando que las aplicaciones cuenten con los recursos necesarios para ejecutar inferencias en tiempo real. Además, SageMaker es capaz de traducir configuraciones y preparar variables para un rendimiento óptimo.
En resumen, esta nueva funcionalidad abre nuevas posibilidades para que organizaciones de cualquier tamaño puedan aprovechar al máximo los modelos de lenguaje grande, haciendo que el ajuste y despliegue de modelos personalizados sea más accesible. Amazon ha puesto a disposición de los interesados guías y recursos en sus repositorios de GitHub, ofreciendo ejemplos y documentación detallada para desarrolladores que deseen explorar esta tecnología.
