En un entorno donde la adopción de la inteligencia artificial (IA) y el aprendizaje automático (ML) está en constante crecimiento, las organizaciones enfrentan el desafío de equilibrar costos y rendimiento. Un cliente, especializado en soluciones de inteligencia de video utilizando los modelos YOLOv8, se dirigió a Automat-it, un socio Premier de AWS, para ayudar en la optimización de su plataforma basada en la nube de AWS a través del Elastic Kubernetes Service (EKS).
La colaboración tenía como objetivo principal lograr la escalabilidad y el rendimiento óptimos, evitando costos excesivos. Inicialmente, cada modelo operaba en una instancia dedicada de GPU, lo que no solo desaprovechaba recursos sino que también disparaba los costos. La meta era reducir el costo de infraestructura en AWS a 30 dólares mensuales por cámara, mientras que el tiempo de procesamiento debía permanecer por debajo de 500 milisegundos.
El primer enfoque implicó una arquitectura cliente-servidor para separar etapas de procesamiento. No obstante, los costos seguían altos, alcanzando 353,03 dólares por cámara mensualmente. Aunque el rendimiento era satisfactorio, se necesitaba una mayor eficiencia.
Automat-it implementó entonces una estrategia de «time slicing» de GPU, permitiendo que múltiples modelos compartan una misma GPU. Esto se llevó a cabo en el clúster EKS usando el plugin de NVIDIA para Kubernetes, lo cual simplificó la escalabilidad y redujo la gestión operativa.
Tras pruebas y ajustes, se consiguió una importante reducción de costos. El gasto por cámara bajó a 27,81 dólares, una disminución significativa respecto del método inicial, manteniendo el rendimiento deseado.
Este caso destaca cómo la optimización en tecnología de IA puede reducir costos y mantener un servicio de calidad. La adopción de enfoques tecnológicos avanzados y soluciones de nube ofrece un camino claro hacia la eficiencia operativa en el desarrollo de modelos de inteligencia artificial.
