Recientemente, se ha revelado un dato asombroso en el mundo de la tecnología: hasta el 70% de los sistemas de Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) fracasan al ser implementados en producción. A pesar de su eficacia aparente en demostraciones y pruebas de concepto, estos sistemas enfrentan múltiples desafíos que a menudo resultan en su fallo.
Shubham Maurya, científico de datos sénior en Mastercard, comparte su amplia experiencia en la creación de soluciones de inteligencia artificial. Según explica, los sistemas RAG pueden pasar de promesas a problemas en la práctica real. Estos sistemas funcionan recuperando información de bases de datos, aumentando esa información durante el proceso de generación de respuestas mediante modelos de lenguaje, y luego ofreciendo respuestas precisas y fundamentadas.
Maurya plantea una pregunta crítica: ¿por qué no usar modelos de lenguaje avanzados, como GPT-5 o Claude, en lugar de RAG? La respuesta está en la naturaleza cambiante de los datos. Las organizaciones a menudo enfrentan un flujo continuo de datos, lo cual rápidamente desactualiza los modelos preentrenados. Además, el conocimiento especializado de un dominio es esencial; un modelo general podría carecer de acceso a información interna crucial.
Los desafíos principales que llevan al fracaso de los sistemas RAG incluyen:
1. Desviación del conocimiento: Cambios en los datos que no se actualizan pueden generar inconsistencias.
2. Decaimiento de la recuperación: Un exceso de documentos puede agotar al sistema debido a la saturación de datos.
3. Fragmentos irrelevantes: La abundancia de información puede complicar las respuestas y confundir los modelos.
4. Brechas de evaluación: La falta de retroalimentación eficaz puede hacer que el sistema opere ineficazmente sin ser detectado.
Sin embargo, Maurya ofrece soluciones tangibles. En lugar de depender de un solo método, sugiere una búsqueda híbrida que combine diversas estrategias. En casos de tablas interconectadas, un enfoque basado en grafos para mejorar la recuperación de datos es una opción viable. Esto ayuda a los sistemas a adaptarse a cambios, optimizar su rendimiento y minimizar errores.
La automatización también se presenta como un recurso valioso, permitiendo que los sistemas RAG se actualicen dinámicamente. Mediante ciclos de retroalimentación continua, estos sistemas pueden mejorar constantemente, esencial dado el entorno de datos siempre en evolución.
Aunque el futuro de RAG parece prometedor, con avances que incluyen modelos de lenguaje auto-complementarios y una mayor integración de datos, es crucial entender los desafíos y aplicar soluciones efectivas para construir sistemas robustos y confiables. Según Maurya, un sistema RAG que funcione el 70% del tiempo en producción es más valioso que uno que solo destaque en demostraciones. La clave es comprender los obstáculos y buscar soluciones que aseguren la solidez y fiabilidad del sistema.
