En un importante avance en el campo de la inteligencia artificial, el Instituto de Ciencia de Tokio ha finalizado con éxito el desarrollo de Llama 3.3 Swallow. Este innovador modelo de lenguaje, que cuenta con 70 mil millones de parámetros, presenta avanzadas capacidades para el procesamiento del idioma japonés. La iniciativa, liderada por el investigador Kazuki Fujii, se llevó a cabo utilizando Amazon SageMaker HyperPod, una infraestructura que ha permitido optimizar significativamente el rendimiento del modelo en tareas relacionadas con el japonés, superando a otras herramientas reconocidas como GPT-4o-mini.
Llama 3.3 Swallow se basa en la arquitectura de Meta Llama 3.3, pero incluye mejoras específicas para el idioma japonés. El proyecto fue una colaboración entre el Laboratorio Okazaki y el Laboratorio Yokota del Instituto de Ciencia de Tokio, junto con el Instituto Nacional de Ciencia y Tecnología Industrial Avanzada (AIST). Ahora, el modelo está disponible en dos variantes dentro de la plataforma Hugging Face, lo que facilita su acceso a investigadores y desarrolladores interesados en aprovechar sus capacidades.
El entrenamiento de este modelo se realizó mediante preformación continua, utilizando el conjunto de datos Swallow Corpus Version 2. Este corpus, extraído de contenido educativo en japonés de la web, asegura un alto nivel de calidad en los datos de entrenamiento. Se utilizaron 32 instancias EC2 de Amazon, equipadas con potentes GPUs, para llevar a cabo un prolongado proceso de entrenamiento que se extendió durante más de 16 días.
Los resultados demuestran que el modelo base supera a varias alternativas competitivas, destacándose en tareas lingüísticas en japonés. En particular, su variante ajustada para instrucciones ha mostrado un rendimiento excepcional en el Japanese MT-Bench, un referente en la evaluación de aplicaciones prácticas para este idioma.
La puesta a disposición del modelo en Hugging Face está regulada por las licencias de uso de Meta Llama 3.3 y Gemma, promoviendo así la innovación en aplicaciones de inteligencia artificial centradas en el japonés. La infraestructura de entrenamiento ha sido diseñada para ser escalable y eficiente, combinando componentes de cómputo, red, almacenamiento y monitoreo. Esto facilita un proceso de entrenamiento más rápido y con menos interrupciones.
Además, se ha implementado un enfoque sistemático para la optimización de recursos, junto con un sistema de monitoreo integral que permite detectar en tiempo real posibles problemas en el procesamiento. Estos desarrollos están previstos para ser liberados como proyectos de código abierto, lo cual proporciona recursos valiosos para la comunidad investigadora en inteligencia artificial.
Tras el éxito de Llama 3.3 Swallow, el equipo se propone ampliar aún más las capacidades del modelo y explorar nuevas aplicaciones en diversas áreas tecnológicas y de comunicación.
