Hoy se ha anunciado con gran entusiasmo la disponibilidad de los modelos Llama 3.2 en Amazon SageMaker JumpStart. Los modelos Llama 3.2 representan el último avance de Meta en modelos de lenguaje grande (LLM), ofreciendo capacidades mejoradas y una aplicabilidad más amplia en diversos escenarios. Estos modelos, diseñados con un enfoque en la innovación responsable y la seguridad a nivel de sistema, prometen un rendimiento de vanguardia en una variedad de benchmarks industriales y están preparados para impulsar una nueva generación de experiencias de inteligencia artificial (IA).
En SageMaker JumpStart, una plataforma de aprendizaje automático que proporciona acceso a algoritmos, modelos y soluciones de ML, los usuarios pueden descubrir y desplegar los modelos Llama 3.2 11B Vision. También es posible utilizar los modelos ligeros junto con el ajuste fino. Inicialmente, estos modelos están disponibles en la región US East (Ohio) del servicio AWS, con restricciones de uso en la Unión Europea conforme al acuerdo de licencia comunitaria de Meta.
Llama 3.2 ofrece varios tamaños de modelos, desde multimodales pequeños y medianos hasta grandes con 11 mil millones (11B) y 90 mil millones (90B) de parámetros. Estos modelos cuentan con una longitud de contexto de 128,000 y son capaces de realizar tareas complejas de razonamiento, incluyendo soporte multimodal para imágenes de alta resolución. Además, los modelos ligeros solo de texto, con parámetros de 1B y 3B, son adecuados para dispositivos periféricos. El modelo de parámetros Llama Guard 3 11B Vision está especialmente diseñado para apoyar la innovación responsable y la seguridad a nivel de sistema.
Una característica distintiva de los modelos Llama 3.2 es su capacidad para soportar tareas de visión mediante la integración de representaciones de codificadores de imágenes en el modelo de lenguaje. Estos modelos generan innovaciones como el razonamiento con imágenes, siendo más eficientes para cargas de trabajo de IA gracias a una latencia reducida y un rendimiento mejorado.
SageMaker JumpStart permite a los usuarios desplegar modelos en un entorno seguro. Los modelos pueden ser provisionados en instancias dedicadas de SageMaker, incluyendo opciones impulsadas por AWS Trainium y AWS Inferentia, para asegurar la seguridad y el cumplimiento de los datos dentro de una nube privada virtual (VPC). Después del despliegue, los modelos pueden ser personalizados y afinados utilizando las capacidades extensas de Amazon SageMaker, como SageMaker Inference y logs de contenedores para mejorar la observabilidad.
Para desplegar los modelos Llama 3.2, se requieren algunos requisitos previos accesibles a través de dos interfaces principales: SageMaker Studio y el SDK de Python de SageMaker. SageMaker Studio ofrece una interfaz web unificada para gestionar todos los aspectos del ciclo de vida del desarrollo de ML, desde la preparación de datos hasta el despliegue de modelos. Alternativamente, el SDK de Python de SageMaker permite acceso programático a los modelos, facilitando fluidez e integración con flujos de trabajo existentes.
En la plataforma SageMaker JumpStart, los usuarios pueden elegir el modelo adecuado, aceptar el acuerdo de licencia, y seguir las instrucciones para desplegar el modelo. Por ejemplo, con el siguiente código del SDK de Python, se puede desplegar un modelo Llama 3.2 11B Vision:
from sagemaker.jumpstart.model import JumpStartModel
model = JumpStartModel(model_id="meta-vlm-llama-3-2-11b-vision")
predictor = model.deploy(accept_eula=True)Esto pone en marcha el modelo con configuraciones predeterminadas, aunque es posible ajustar las configuraciones según las necesidades específicas del usuario. Después del despliegue, se pueden realizar inferencias utilizando el predictor, integrándose con aplicaciones innovadoras y soportando una amplia gama de casos de uso en la industria.
Para más detalles sobre cómo explorar y utilizar los modelos Llama 3.2 en SageMaker JumpStart, y para comenzar con esta potente herramienta, se recomienda consultar los recursos adicionales proporcionados por Amazon.
