A medida que crecen las implementaciones de inteligencia artificial generativa en las organizaciones, el desafío de equilibrar calidad, costos y latencia se intensifica. Los costos de inferencia en modelos de lenguaje grande (LLM) constituyen entre el 70% y el 90% de los gastos operativos. La necesidad de enfoques más eficientes para interactuar con estos modelos es cada vez más evidente, especialmente cuando las estrategias de indagación tradicionales incrementan el volumen de tokens hasta cinco veces, afectando negativamente tanto la eficiencia de costos como el tiempo de respuesta.
Una técnica denominada «Chain-of-Draft» (CoD), propuesta por un estudio de Zoom AI, ofrece una alternativa innovadora al revolucionar cómo los modelos abordan tareas de razonamiento. Mientras que la técnica «Chain-of-Thought» (CoT) ha sido popular por mejorar el razonamiento, CoD emerge como una opción más eficiente, imitadora de los patrones de resolución de problemas humanos al utilizar pasos de pensamiento concisos en lugar de explicaciones extensas.
Con el apoyo de Amazon Bedrock y AWS Lambda, se ha demostrado una implementación práctica de CoD capaz de reducir hasta un 75% el uso de tokens y más de un 78% la latencia, manteniendo los niveles de precisión de los enfoques CoT tradicionales. Esta estrategia optimiza no solo los costos sino también la experiencia del usuario con tiempos de respuesta más rápidos.
CoD se basa en la idea de que las cadenas de razonamiento frecuentemente presentan alta redundancia. Al destilar los pasos a su esencia semántica, CoD ayuda a centrar el modelo en la estructura lógica de la tarea en lugar del lenguaje extenso, permitiendo una menor latencia de inferencia y reducción de costos por generación minimizada.
Aunque CoD presenta numerosos beneficios, no es aplicable en todos los casos. En situaciones que exigen alta interpretabilidad, como revisiones legales o médicas, un detallado razonamiento es esencial. Además, en modelos de lenguaje más pequeños, su eficiencia es inferior a la de CoT.
En resumen, CoD se perfila como una técnica prometedora para organizaciones que buscan optimizar inteligencia artificial generativa, reduciendo costos y mejorando tiempos de respuesta sin comprometer la calidad del razonamiento. Este avance representa un importante paso hacia modelos de lenguaje más eficientes y efectivos en el continuo desarrollo de la inteligencia artificial.
