Salesforce y Amazon Web Services (AWS) han anunciado una asociación estratégica para optimizar la implementación de modelos de inteligencia artificial, específicamente los modelos de lenguaje de gran tamaño (LLMs). Este avance se centra en mejorar la infraestructura que permite integrar algoritmos de aprendizaje automático en aplicaciones críticas, facilitando así el proceso para empresas que dependen de estas tecnologías.
El equipo detrás del servicio de modelos de la plataforma de inteligencia artificial de Salesforce enfrenta el desafío de desplegar estos modelos de manera eficiente, asegurando un rendimiento óptimo y una gestión de costos efectiva. Esto resulta especialmente complicado debido a la diversidad en los tamaños y requisitos de los modelos, que pueden variar desde unos pocos gigabytes hasta 30 GB.
Existen dos problemas principales. Primero, los modelos más grandes, aunque requieren menos recursos, no utilizan eficientemente las instancias de múltiples GPUs. En segundo lugar, los modelos de tamaño intermedio demandan un procesamiento rápido, lo que aumenta los costos debido a la sobreasignación de recursos.
Para superar estos retos, Salesforce ha implementado componentes de inferencia de Amazon SageMaker, que permiten la implementación de múltiples modelos en un único endpoint. Esta solución mejora la utilización de recursos y disminuye los costos de implementación, al permitir un control detallado sobre el número de aceleradores y la memoria asignada a cada modelo.
La estrategia con componentes de inferencia ofrece beneficios significativos, como la optimización del uso de GPUs y la capacidad de escalar los modelos según las necesidades específicas. Esto no solo soluciona problemas actuales de implementación, sino que también crea una base flexible para las futuras iniciativas de inteligencia artificial de Salesforce.
Gracias a estas mejoras, Salesforce espera reducir los costos de infraestructura hasta en un 80%, a la vez que mejora la eficiencia operativa. Además, los modelos más pequeños pueden beneficiarse de GPUs de alto rendimiento, ofreciendo un tiempo de respuesta bajo sin incurrir en gastos excesivos.
Mirando al futuro, Salesforce planea aprovechar las actualizaciones continuas de los componentes de inferencia, permitiendo mantener sus modelos actualizados y reduciendo la carga operativa. Esto no solo les permitirá integrar innovaciones futuras más fácilmente, sino que también posicionará a la compañía para seguir expandiendo su oferta de inteligencia artificial mientras mantienen estándares altos de eficiencia y rentabilidad.
