En la búsqueda de mejorar la efectividad de los modelos de inteligencia artificial en dominios especializados, la integración de conocimiento relevante resulta fundamental. Por ejemplo, un asistente virtual de atención al cliente necesita información detallada sobre la empresa a la que sirve, mientras que una herramienta de análisis legal requiere acceso a una base de datos completa de casos históricos. Para lograr esto, los desarrolladores suelen emplear la técnica de Generación Aumentada por Recuperación (RAG), que permite extraer información pertinente de una base de conocimiento y combinarla con la consulta del usuario, mejorando significativamente las respuestas del modelo. Sin embargo, los sistemas RAG tradicionales enfrentan limitaciones al perder detalles contextuales durante la codificación de datos, lo que puede conducir a recuperaciones irrelevantes o incompletas.
Tradicionalmente, en los sistemas RAG, los documentos se dividen en fragmentos más pequeños para optimizar la eficiencia en la recuperación. Aunque esta metodología es efectiva en muchos casos, puede generar problemas si cada fragmento carece del contexto necesario. Por ejemplo, en una política que exige “seis meses de antigüedad” para el trabajo remoto, pero no menciona las excepciones sujetas a la aprobación del gerente, un usuario que consulte sobre la elegibilidad de un empleado con tres meses de antigüedad podría recibir una respuesta equivocada. Para abordar esta limitación, la recuperación contextual enriquece la representación vectorial con información contextual relevante, permitiendo respuestas más precisas y matizadas.
Un reciente estudio resalta la integración de este enfoque con las bases de conocimiento de Amazon Bedrock y el modelo Claude de Anthropic. Utilizando una función Lambda personalizada durante el proceso de ingestion de datos, los documentos se procesan en fragmentos, pero ahora cada uno es complementado con información contextual antes de ser almacenado en un bucket de S3 intermedio.
La implementación de la recuperación contextual se realiza en varias etapas. Inicialmente, hay que leer los archivos desde un bucket designado, dividir la información en fragmentos, generar información contextual con Claude, y guardar los fragmentos procesados en un bucket intermedio. La arquitectura del sistema permite manejar documentos extensos eficientemente, optimizando así la calidad de las respuestas.
Para evaluar este nuevo método en comparación con el enfoque de fragmentación por defecto, se emplearon métricas como el recall de contexto y la precisión de respuesta. Los resultados demostraron que el enfoque de recuperación contextual superaba al tradicional en calidad de respuestas generadas, mostrando la eficacia de técnicas más sofisticadas en la mejora de sistemas de IA.
Sin embargo, hay diversas consideraciones para implementar esta solución. La estrategia de fragmentación debe optimizarse para equilibrar rendimiento y precisión. Además, el monitoreo de métricas clave es vital para asegurar la efectividad del sistema. Usar herramientas de observabilidad, como Langfuse, puede mejorar la gestión del rendimiento.
Finalmente, la combinación de los modelos de lenguaje de Anthropic con la infraestructura de Amazon Bedrock permite a las organizaciones desarrollar sistemas inteligentes de recuperación de información, ofreciendo respuestas contextualizadas y detalladas. Con pasos de implementación claramente definidos, las empresas están en una posición sólida para aprovechar el potencial completo de los sistemas de IA con conciencia del contexto.
