Nico Finelli, un destacado miembro fundador de Vellum, ha compartido sus perspectivas sobre el actual panorama de la inteligencia artificial (IA) en producción, enfocándose en la creación de agentes de IA que aporten un verdadero valor. Con experiencia en machine learning y modelos de lenguaje (LLMs), Finelli ha trabajado como consultor para empresas de la lista Fortune 500 y ahora se dedica a guiar a otras organizaciones en la transición de la experimentación a la implementación efectiva de estas tecnologías.
Una encuesta reciente involucró a más de 1,200 desarrolladores de IA, revelando un dato sorprendente: solo el 25% de ellos ha logrado utilizar sus iniciativas de IA en un entorno de producción. A pesar del creciente interés mediático en la IA generativa, muchas organizaciones continúan enfrentando desafíos significativos durante la fase de prueba. Uno de los principales obstáculos es el fenómeno conocido como «alucinaciones» en los modelos de IA, un problema que más del 57% de los encuestados identifica como su mayor desafío.
La correcta evaluación es fundamental para el éxito de un sistema de IA. Finelli destaca que muchos equipos que luchan con alucinaciones suelen depender de evaluaciones manuales y comentarios de los usuarios como sus principales métodos de prueba. Esto indica una falta de procesos sólidos que garanticen una implementación adecuada. Muchas empresas todavía no cuentan con sistemas de pruebas automatizadas, complicando la resolución de problemas debido a la especificidad de las aplicaciones de IA.
Las compañías que han conseguido llevar su IA a producción tienden a mantener un enfoque claro y bien definido desde el principio. En lugar de seguir modas, priorizan el desarrollo de casos de uso bien delimitados y fomentan la retroalimentación constante entre desarrolladores y expertos en la materia, lo que facilita la rápida iteración. Según Finelli, aproximadamente el 65-70% de los clientes de Vellum tienen IA en producción, gracias principalmente a su capacidad de adaptarse rápidamente y a la continua evaluación de sus sistemas.
En resumen, el éxito en la implementación de agentes de IA no solo depende de la tecnología, sino también de la estructura y el enfoque adoptados durante el desarrollo. Una evaluación eficaz es crucial para convertir la IA de un simple concepto a una herramienta práctica y duradera en el ámbito empresarial.
