La construcción de un stack de inteligencia artificial agentiva es comparable a edificar un rascacielos en medio de un terremoto. En un entorno tecnológico en constante evolución, donde las GPU, los marcos de trabajo y los modelos se actualizan constantemente, la integración de estas tecnologías con sistemas existentes se presenta como un desafío monumental. En este escenario, prestar atención a los cimientos fundamentales resulta esencial para el éxito de cualquier proyecto.
Recientemente, se compartieron experiencias sobre la creación de un stack agentivo para StartUp Play, un servicio de agregación de plataformas OTT. Este caso revela tanto los aciertos como las áreas de mejora y lo que se debe considerar al aventurarse en este campo.
Las arquitecturas empresariales han pasado de monolíticas, aún presentes en grandes compañías como Prime Video, a microservicios. En la actualidad, la inteligencia artificial nativa exige la incorporación de capacidades de razonamiento y modelos de lenguaje a gran escala, con la integración como principal reto.
El desarrollo de un stack agentivo se construye en diversas capas esenciales: interfaces API, capa de orquestación, modelos de lenguaje y capas de memoria y contexto. La acción se realiza mediante herramientas y APIs que permiten a los agentes interactuar con el mundo real, bajo un riguroso control y gobernanza de datos.
Un aspecto crucial es que los microservicios deben ser sin estado, utilizando soluciones como Kafka o Redis para el almacenamiento y permitir la escalabilidad. Un logro destacado en este contexto fue desarrollar un sistema capaz de soportar un millón de transacciones por segundo, subrayando la importancia de una arquitectura bien pensada desde el principio.
Se han identificado cinco enfoques para construir un stack agentivo, desde la utilización de sistemas empresariales existentes hasta la implementación de sandboxes para agentes, cada uno con ventajas únicas, desde la eficiencia en uso de tokens hasta la estandarización de herramientas.
Los casos de uso para la plataforma OTT destacan la importancia de la flexibilidad arquitectónica, implementándose modelos para mejora de metadata, recomendaciones y monitoreo de calidad de experiencia. Aunque cambian los modelos, la data y las percepciones de usuario son vitales a largo plazo.
La gestión de datos es crucial, estructurándose en tres niveles: datos de sesión, de múltiples sesiones y a largo plazo, asegurando la captura y orquestación adecuada de la información. Esto es fundamental para establecer bases sólidas para futuras implementaciones.
El dilema de construir versus comprar también es estratégico. Identificar los componentes que se deben desarrollar internamente y los que se pueden adoptar es crucial para la eficacia y competitividad de la organización.
Por último, integrar touchpoints de manera modular y reemplazable es esencial para adaptarse fácilmente a cambios en modelos y plataformas, asegurando la sostenibilidad del sistema a largo plazo. En un mundo donde la tecnología avanza constantemente, construir un stack que capture y aproveche el valor de la data generada es indispensable.
Aunque la construcción de un stack agentivo es un desafío, representa una oportunidad significativa para empresas dispuestas a adaptarse y evolucionar. Al final, el valor creado y los problemas resueltos perdurarán, independientemente de la tecnología utilizada.
