Evaluación Innovadora de Chatbots: La Plataforma de Tealium con Ragas y Auto-Instruct Usando AWS AI

Elena Digital López

En una notable colaboración entre Tealium y el AWS Generative AI Innovation Center (GenAIIC), se ha lanzado un innovador marco de evaluación diseñado para los sistemas de Generación Aumentada por Recuperación (RAG). Este desarrollo busca perfeccionar la funcionalidad de un bot de preguntas y respuestas (QA) creado por Tealium, una destacada empresa en integración de datos de clientes en tiempo real. La iniciativa se centra en el uso de Amazon Bedrock, una avanzada plataforma de servicios de inteligencia artificial generativa, con el objetivo de mejorar la precisión y relevancia de las respuestas proporcionadas por el bot.

La arquitectura implantada sigue un proceso meticuloso que comienza cuando una consulta es introducida en el bot de Tealium. Utilizando el sistema de búsqueda FAISS, el bot recupera el contexto necesario para la consulta y genera una respuesta adecuada. Posteriormente, este resultado es examinado por la biblioteca Ragas, que evalúa parámetros como la fidelidad, precisión y el contexto de la respuesta.

Una característica esencial del proyecto es la implementación de Auto-Instruct, una herramienta que crea instrucciones automáticas para optimizar las respuestas del bot. Estas instrucciones son sometidas a evaluación y clasificación para seleccionar las más eficaces. Además, el sistema cuenta con un componente de retroalimentación que permite a expertos humanos validar o rechazar los resultados del modelo, asegurando así la precisión y la corrección de las respuestas.

La elección de Amazon Bedrock se debe a su habilidad para manejar modelos fundamentales mediante una API, lo cual facilita personalizaciones y despliegues ágiles sin involucrar infraestructuras complejas. Este enfoque ha permitido a Tealium no solo incrementar la efectividad de su bot, sino también garantizar una gestión segura y privada de los datos involucrados.

El proyecto no solo pone de relieve el valor de los modelos de inteligencia artificial generativa en la automatización de procesos, sino también la importancia de integrar soluciones tecnológicas avanzadas con la supervisión humana para asegurar la calidad de los resultados. De cara al futuro, se contempla explorar modelos alternativos, aplicar diferentes estrategias de segmentación y realizar evaluaciones de costos para seguir mejorando la solución.

En definitiva, esta colaboración subraya el compromiso de Tealium con la innovación continua en beneficio de sus clientes y demuestra el inestimable potencial de Amazon Bedrock en el desarrollo de aplicaciones de inteligencia artificial generativa, centradas firmemente en la seguridad y flexibilidad adaptativa.

Scroll al inicio