En el ámbito del aprendizaje automático (ML), los equipos enfrentan un desafío persistente: crear modelos que, aunque presentan altos niveles de precisión en pruebas, no entregan los resultados comerciales esperados cuando se implementan en la vida real. A menudo, se observan casos en los que modelos con un 94% de precisión en validación no logran mejorar los resultados de negocio en prácticas reales, como se ha visto con motores de recomendaciones que fallan al impulsar las métricas comerciales esperadas.
El origen de este problema reside en un enfoque que prioriza la excelencia técnica sobre la experiencia del usuario y el valor comercial. Tradicionalmente, el desarrollo de modelos ML se enfoca en la recolección de datos, el entrenamiento, la evaluación del rendimiento y la implementación, definiendo el éxito con métricas técnicas como la puntuación F1. Sin embargo, ignorar cómo el modelo se integra en el trabajo diario de los usuarios es un error crítico.
Invertir en un enfoque orientado al producto supone un cambio en la perspectiva del desarrollo. Es vital considerar las necesidades del usuario y los problemas comerciales desde el inicio, redefiniendo el éxito no solo como precisión técnica, sino como mejora de la experiencia del usuario y resultados del negocio. Un ejemplo claro es un sistema de recomendaciones que debe considerar si realmente ayuda a los usuarios a alcanzar sus objetivos o si, por el contrario, intensifica las burbujas de filtro.
El proceso de desarrollo debe comenzar con una fase de definición de problemas, asegurando que las soluciones técnicas atiendan las verdaderas inquietudes de los usuarios. Entender sus puntos de dolor y los criterios de éxito desde un principio evita soluciones técnicas impresionantes que no abordan problemas relevantes.
La implementación del modelo también debe enfocarse en la adopción por parte del usuario, ajustándose a cómo interactúan con los resultados y ofreciendo la capacitación necesaria. Recientemente, un equipo de desarrollo centró sus esfuerzos en un modelo más sencillo, enfocado en identificar patrones de abandono y acciones recomendadas, lo que elevó la retención de clientes en un 15%. Esto demuestra que soluciones menos complejas pueden tener un mayor impacto que modelos avanzados que no generan valor empresarial.
El éxito de un modelo debe evaluarse más allá de las métricas técnicas, integrando indicadores de satisfacción del usuario, tasas de adopción y resultados comerciales, con mecanismos de retroalimentación continua desde las primeras etapas, permitiendo mejoras basadas en la experiencia del usuario.
Para el futuro, los equipos deberán ser más interdisciplinarios, uniendo las perspectivas de científicos de datos, gerentes de producto, diseñadores de experiencia de usuario y expertos del dominio. Esta colaboración permite un entendimiento más profundo de las necesidades del usuario y fomenta la creación de productos ML que realmente resuelvan problemas.
Este cambio en el desarrollo de modelos no es solo una modificación de procesos, sino una reimaginación fundamental de lo que significa construir sistemas ML exitosos. Tratando los modelos como productos, se pueden crear sistemas que generen valor real, reafirmando que la medida del éxito es la satisfacción del usuario y no solo los resultados técnicos. vía: AI Accelerator Institute.
