Amazon ha lanzado un servicio completamente gestionado llamado Amazon Bedrock, el cual ofrece una selección de modelos fundamentales de alto rendimiento provenientes de empresas líderes en inteligencia artificial como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI y la misma Amazon, a través de una única API. Este servicio también proporciona un conjunto amplio de capacidades necesarias para construir aplicaciones de inteligencia artificial generativa de manera segura, privada y con prácticas de IA responsables.
Algunos de estos modelos están disponibles públicamente, permitiendo personalizar los modelos según casos de uso y dominios específicos. Sin embargo, la implementación de modelos personalizados para soportar aplicaciones de IA generativa de forma segura y escalable no es una tarea sencilla. La gestión de grandes modelos incluye una considerable complejidad en cuanto a la selección del tipo de instancia y los parámetros de implementación.
Para enfrentar este desafío, AWS ha anunciado la vista previa del nuevo Amazon Bedrock Custom Model Import, una característica que permite importar modelos personalizados creados en otros entornos como Amazon SageMaker, Amazon EC2 y en instalaciones locales a Amazon Bedrock. Esta función simplifica la complejidad del proceso de implementación mediante APIs sencillas para la implementación e invocación del modelo.
La capacidad de personalizar modelos fundamentales (FMs) puede desbloquear un valor significativo al adaptar sus capacidades a dominios o tareas específicas. En esta ocasión, se muestra el proceso de ajuste fino del modelo Meta Llama 3 8B en SageMaker para especializarlo en la generación de consultas SQL (texto a SQL). Meta Llama 3 8B es un modelo relativamente pequeño que ofrece un equilibrio entre rendimiento y eficiencia de recursos.
Los clientes de AWS han explorado el ajuste fino de Meta Llama 3 8B para la generación de consultas SQL, especialmente cuando se utilizan dialectos SQL no estándar, y han solicitado métodos para importar sus modelos personalizados a Amazon Bedrock. Esto permite beneficiarse de la infraestructura gestionada y la seguridad que proporciona Amazon Bedrock al servir esos modelos.
El proceso de personalización se divide en varios pasos: invocar un trabajo de entrenamiento en SageMaker para ajustar el modelo con QLoRA y almacenar los pesos en Amazon S3. Una vez completado el ajuste fino, el usuario ejecuta el trabajo de importación de modelos usando la consola de Amazon Bedrock. El servicio de Amazon Bedrock inicia un trabajo de importación en una cuenta de implementación operada por AWS. Los artefactos del modelo se copian de la cuenta del usuario a un bucket S3 gestionado por AWS, y cuando se completa el trabajo de importación, el modelo ajustado será accesible para su invocación.
Todos los datos permanecen en la región seleccionada de AWS, utilizando un punto final VPC, y es posible cifrar los datos del modelo con sus propias claves de Amazon Key Management Service (AWS KMS). Los guiones para el ajuste fino y la evaluación están disponibles en el repositorio de GitHub de Amazon Bedrock.
La importación del modelo ajustado en Amazon Bedrock se completa configurando varias opciones en la consola de Amazon Bedrock, importando los datos almacenados en S3 y asegurándose de que el modelo siga los parámetros soportados. Una evaluación del modelo ajustado mostró un rendimiento superior, con un ejemplo que generó un SQL correcto en la mayoría de los casos.
Este lanzamiento y sus capacidades de personalización proporcionan una herramienta poderosa para los científicos de datos y desarrolladores de aplicaciones que buscan implementar modelos de IA generativa a escala, permitiendo operaciones más eficientes y seguras. Explorando las mejores prácticas y metodologías proporcionadas, los usuarios pueden maximizar el potencial de modelos ajustados para tareas específicas como la generación de código. vía: AWS machine learning blog.
