Amazon Bedrock ha avanzado significativamente en la gestión de costos asociados con la inteligencia artificial generativa. En un esfuerzo por controlar los gastos relacionados con la IA, se ha introducido un sistema que monitorea en tiempo real el uso de tokens y aplica límites presupuestarios.
En esta segunda fase, Amazon ha implementado estrategias avanzadas para el monitoreo de costos, destacándose la inclusión de un mecanismo centralizado que limita el uso de la IA generativa conforme a los presupuestos establecidos. Esto se logra mediante enfoques de etiquetado personalizados que permiten asignar costos con mayor precisión, junto con mecanismos de informes detallados.
Una innovación clave es el etiquetado a nivel de invocación, que agrega metadatos a cada solicitud de API, creando un registro exhaustivo en Amazon CloudWatch. Esto facilita la revisión de decisiones presupuestarias y el análisis de patrones de uso. Además, el flujo de trabajo principal de AWS Step Functions se ha adaptado para soportar este enfoque.
También se ha mejorado la estructura de entrada de la API para permitir etiquetados personalizados, lo cual incluye parámetros opcionales específicos del modelo. Esta estructura permite la identificación precisa de modelos, contenido de solicitudes y etiquetas a nivel de aplicación.
Para validar y etiquetar adecuadamente, se ha añadido un paso nuevo en el flujo de trabajo que utiliza una función Lambda de AWS, asegurando que cada solicitud se alinee con el modelo pertinente y se etiquete correctamente.
La incorporación de métricas personalizadas en CloudWatch permite a las organizaciones realizar un seguimiento exhaustivo de varios parámetros, como el tipo de modelo y el centro de costos, ofreciendo así visibilidad detallada sobre el uso de IA. Adicionalmente, se han introducido perfiles de inferencia de aplicaciones que superan limitaciones anteriores en el seguimiento de gastos, mediante la aplicación de etiquetas de costos personalizadas.
Herramientas como AWS Cost Explorer permiten a las organizaciones visualizar y analizar los gastos en la nube, desglosándolos por servicio, etiquetas y dimensiones personalizadas. Esta función ofrece una clara comprensión de los costos relacionados con la IA, facilitando la generación de informes detallados.
En conclusión, la integración de vigilancia en tiempo real combinada con informes de costos exhaustivos brinda a las organizaciones una herramienta poderosa para gestionar sus recursos de inteligencia artificial proactivamente, asegurando un control eficaz del presupuesto mientras se avanza con sus proyectos de innovación.
