AWS ha lanzado una innovadora integración entre Amazon SageMaker Unified Studio y los buckets de propósito general de Amazon S3, diseñada para facilitar el uso de datos no estructurados en tareas de aprendizaje automático y análisis de datos. Esta nueva capacidad promete revolucionar la gestión y el análisis de grandes volúmenes de información compleja por parte de las organizaciones.
Recientemente, se presentó un caso práctico que demuestra cómo conectar estos buckets con el catálogo de Amazon SageMaker para adecuar el modelo Llama 3.2 11B Vision Instruct. Este modelo se especializa en responder preguntas visuales, permitiendo consultas como identificar la fecha en un recibo detallado. En sus pruebas iniciales, el modelo base Llama 3.2 logró un 85,3% en la Similaridad de Levenshtein Normalizada (ANLS) usando el conjunto de datos DocVQA. Este conjunto contiene miles de ejemplos de preguntas visuales, pero la puntuación podría no ser suficiente para tareas que demandan mayor precisión.
Para superar esta limitación, se implementó un protocolo de ajuste fino que evaluó el efecto del tamaño del conjunto de datos en el rendimiento del modelo. Se utilizaron conjuntos de datos con 1,000, 5,000 y 10,000 imágenes. Este proceso, gestionado por Amazon SageMaker Unified Studio, abarca desde la ingesta de datos hasta la evaluación de las métricas, cumpliendo con requisitos como la creación de un dominio en SageMaker Unified Studio y el establecimiento de conexiones con los buckets de S3.
La arquitectura propuesta facilita la colaboración entre equipos de datos, utilizando roles de acceso que simplifican la gestión de permisos. Con MLflow, es posible realizar un seguimiento detallado de los experimentos y observar mejoras en la precisión del modelo ajustado.
Los resultados preliminares indican que el modelo mejorado alcanzó un ANLS del 90,2%, representando una mejora del 4,9% respecto al modelo base. Este avance no solo valida la metodología empleada, sino que también destaca el potencial de Amazon SageMaker Unified Studio en la optimización de modelos de aprendizaje automático, ofreciendo un camino más eficiente desde los datos no estructurados hasta la implementación de modelos en producción.
