Salesforce, Inc., una empresa estadounidense de software basada en la nube con sede en San Francisco, California, está dando un paso audaz hacia la inteligencia artificial general para negocios. La compañía, conocida por sus soluciones de gestión de relaciones con clientes (CRM), está integrando funciones predictivas y generativas en su software insignia de Software como Servicio (SaaS) CRM y trabaja en automatizaciones inteligentes empleando agentes de inteligencia artificial (IA).
Un componente esencial de esta estrategia es Salesforce Einstein, un conjunto de tecnologías de IA que se integran con la Plataforma de Éxito del Cliente de Salesforce para mejorar la productividad y el compromiso del cliente. Con más de 60 características repartidas en categorías como aprendizaje automático, procesamiento de lenguaje natural, visión por computadora y reconocimiento automático de voz, Einstein ofrece capacidades avanzadas de IA en ventas, servicio, marketing y otras funciones empresariales.
El equipo de la Plataforma de IA de Salesforce Einstein ha dedicado esfuerzos significativos a mejorar el rendimiento y las capacidades de los modelos de lenguaje grande utilizados en sus ofertas de productos Einstein. Estos modelos están diseñados para proporcionar capacidades avanzadas de procesamiento de lenguaje natural para distintas aplicaciones de negocio.
En un reciente proyecto, el equipo de la plataforma Einstein AI optimizó la latencia y el rendimiento de su modelo de IA para generación de código utilizando Amazon SageMaker. Este modelo, conocido como CodeGen, permite traducir lenguaje natural en lenguajes de programación. Necesitaban una solución que pudiera manejar grandes volúmenes de solicitudes de inferencia y múltiples solicitudes concurrentes a escala.
SageMaker se destacó como la mejor opción debido a varias características específicas que cumplieron con los requisitos de Salesforce, como contenedores de inferencia de modelos grandes y estrategias avanzadas de agrupamiento y enrutamiento. Estos elementos permitieron optimizar el uso de los recursos de GPU y mejorar significativamente la latencia y el rendimiento.
La integración de SageMaker permitió aumentar la capacidad de manejo del modelo CodeGen de seis a 400 solicitudes por minuto, reduciendo la latencia de más de 30 segundos a aproximadamente siete segundos por solicitud. Esto representó un incremento en el rendimiento de más del 6500%.
Esta colaboración no solo mejoró la eficiencia operativa de Salesforce, sino que también ofreció nuevas oportunidades para optimizar y escalar sus soluciones de IA. Con la ayuda de SageMaker, Salesforce ha construido un sólido marco de trabajo para integrar capacidades avanzadas de IA en sus aplicaciones, asegurando así que sus clientes reciban la tecnología de IA más avanzada disponible.
