Thomson Reuters, una empresa global impulsada por tecnología y contenido, ha estado utilizando inteligencia artificial y aprendizaje automático en sus productos de información profesional durante décadas. La introducción de la IA generativa ofrece otra oportunidad para que Thomson Reuters colabore con sus clientes y avance en la manera en que realizan su trabajo, ayudando a los profesionales a extraer conocimientos y automatizar flujos de trabajo, permitiéndoles enfocarse en lo que realmente importa.
En este artículo, exploramos el camino recorrido por Thomson Reuters para permitir la investigación de vanguardia en el entrenamiento de grandes modelos de lenguaje (LLMs) adaptados al dominio usando Amazon SageMaker HyperPod, una característica de Amazon Web Services (AWS) centrada en proporcionar infraestructura especializada para el entrenamiento distribuido a gran escala.
A finales de 2022, se lanzaron LLMs innovadores que realizaron mejoras drásticas sobre las capacidades de modelos anteriores. La tecnología resultante abrió nuevas puertas para mejorar las experiencias de los clientes al personalizar contenido, recomendaciones y respuestas a los clientes en interfaces naturales de tipo chat. Para muchas empresas, la competencia por incorporar esta tecnología en sus productos se intensificó para mantener o ganar una ventaja competitiva. Thomson Reuters no fue la excepción y sintió la necesidad de ayudar a sus clientes a tener éxito en este creciente mundo aumentado por la IA.
Como con cualquier tecnología, la aplicación correcta y la comprensión de sus limitaciones son críticas. Algunos elementos a considerar son las alucinaciones, la calidad, y la velocidad, costo y capacidad de los LLMs. Los clientes de Thomson Reuters requieren IA de grado profesional, ya que son profesionales con necesidades de información exigentes en los ámbitos legal, corporativo, fiscal, de riesgo, fraude, cumplimiento y noticias. Por ejemplo, los clientes legales de Thomson Reuters necesitan investigaciones legales lo más completas posibles y basadas en hechos; cualquier error en los hechos es altamente problemático.
Pensando en las limitaciones de los modelos de lenguaje disponibles públicamente, Thomson Reuters se planteó las siguientes preguntas: ¿Pueden los datos creados, curados o mejorados editorialmente por Thomson Reuters usarse para mejorar el conocimiento de los LLMs en tareas comerciales específicas? ¿Pueden los LLMs más pequeños (de 12 a 30 mil millones de parámetros) entrenados con datos de Thomson Reuters rendir a la par de los LLMs muy grandes con más de un billón de parámetros? ¿Qué métodos podrían emplearse para entrenar los modelos específicos de dominio de Thomson Reuters para obtener los mejores resultados?
Los beneficios potenciales se enmarcaron en tres áreas: calidad, agencia y eficiencia operativa. Con acceso completo al entrenamiento del modelo, Thomson Reuters podría ajustar la generación del LLM a su dominio y permitir una integración más ajustada de la Recuperación Aumentada por Generación (RAG). Si Thomson Reuters posee los modelos, controlará cómo y cuándo se entrenan y actualizan. Además, si los modelos ajustados más pequeños pueden rendir lo suficiente, podría ser una solución más rentable y escalable, mejorando la eficiencia operativa general.
Para estimar la cantidad de potencia de cómputo requerida, usaron la ley de escalamiento Chinchilla para determinar la cantidad de datos de entrenamiento necesarios para mantener la calidad de un modelo dado su tamaño. Más allá de la capacidad de provisionar fácilmente cómputo, hay otros factores como la resiliencia del clúster, la gestión del clúster y la experiencia del desarrollador, que pueden impactar el entrenamiento de LLM. Con potencialmente cientos de GPUs trabajando en paralelo, Thomson Reuters recurrió a Amazon SageMaker HyperPod para provisionar un clúster altamente escalable y resistente a fallos de hardware.
A lo largo de cinco meses, Thomson Reuters ejecutó con éxito 20 trabajos de entrenamiento utilizando Amazon SageMaker HyperPod, escalando su clúster hasta 16 instancias P4d. Entrenaron un modelo de 70 mil millones de parámetros con 400 mil millones de tokens de entrada, y todo el entrenamiento tardó 36 días en completarse sin fallos de hardware.
En conclusión, Thomson Reuters pudo cumplir con sus requisitos de entrenamiento de LLM usando Amazon SageMaker HyperPod, permitiendo desbloquear los beneficios de los LLMs en áreas como la resumisión y clasificación legal. Si tu negocio opera en dominios especializados no disponibles en la web, experimentar con el entrenamiento de modelos podría tener sentido, considerando los costos asociados y el rápido avance de la tecnología LLM.
