Amazon está revolucionando la experiencia de compra online con Rufus, un asistente conversacional impulsado por inteligencia artificial generativa. Este innovador sistema no solo responde a las consultas de los clientes utilizando información detallada de Amazon y de la web, sino que también contribuye a que los compradores puedan tomar decisiones más informadas sobre sus adquisiciones.
Para soportar a su gran y diversa base de usuarios, Amazon ha implementado Rufus en una infraestructura robusta que opera con modelos de lenguaje de gran escala y proporciona baja latencia a nivel global. Esto ha sido posible gracias al empleo de los servicios de Amazon Web Services (AWS), en combinación con chips de inteligencia artificial específicos como Trainium e Inferentia. Estos chips están diseñados para optimizar las tareas de aprendizaje profundo, ofreciendo una solución más rentable en comparación con otras tecnologías disponibles en el mercado.
Rufus ha sido especialmente diseñado para afrontar momentos de alto tráfico, como el Prime Day, mediante un sistema de inferencia heterogéneo que aprovecha las múltiples regiones de AWS. Esta estrategia no solo permite aumentar la capacidad durante picos de demanda, sino que también refuerza la resiliencia del sistema, asegurando una experiencia de usuario sin interrupciones.
El funcionamiento del asistente está basado en un sistema de Generación Aumentada por Recuperación, que mejora la calidad de las respuestas al acceder a información adicional, incluyendo detalles específicos de productos de acuerdo con las consultas de los clientes. Además, el uso de chips especializados como Inferentia y Trainium permite que Rufus ofrezca una eficiencia energética mejorada en un 54% comparado con otras soluciones previas, apoyando los objetivos sostenibles de la compañía.
Durante eventos de alta demanda, el sistema es capaz de escalar para utilizar más de 80,000 chips, manteniendo una latencia media de menos de un segundo para responder al primer token. Esto se logra a través de arquitecturas avanzadas de streaming de inferencia, que facilitan la entrega de información al usuario tan pronto como es generada, mejorando dramáticamente la experiencia de interacción.
El continuo desarrollo de Rufus, junto con los avances en la inteligencia artificial generativa y el feedback de los clientes, promete transformar aún más la experiencia de compra. Este avance subraya el compromiso de Amazon por integrar tecnología innovadora para optimizar el servicio y la satisfacción del cliente, ofreciendo respuestas informadas y personalizadas en cada interacción.
