Amazon ha anunciado la introducción de nuevas funciones en Amazon SageMaker AI, destinadas a optimizar la evaluación de modelos de aprendizaje automático. Estas innovaciones buscan ofrecer a los usuarios herramientas avanzadas para evaluar sus modelos de manera más eficiente y precisa.
Una de las características más destacadas es el soporte para métricas personalizadas, lo que permite a los desarrolladores adaptar los criterios de evaluación según necesidades específicas. Esto es particularmente útil en áreas especializadas como el servicio al cliente, donde se puede medir la empatía del modelo, o en el ámbito médico, donde la precisión clínica es esencial. Esta flexibilidad permite a los equipos personalizar las evaluaciones según sus dominios particulares.
Innovador también es el “LLM-as-a-Judge”, una función que facilita evaluaciones subjetivas mediante comparaciones entre pares. Esta técnica es ideal para tareas complejas, ya que proporciona explicaciones detalladas junto con la clasificación, ayudando a comprender mejor por qué una respuesta es preferida sobre otra.
La captura de probabilidades logarítmicas es otra mejora clave, permitiendo analizar la confianza del modelo en cada decisión tomada. Esto es crucial para calibrar modelos y tomar decisiones informadas sobre enrutamiento de respuestas, permitiendo detectar problemas potenciales antes de que afecten sistemas de producción.
Las mejoras en el análisis de metadatos permiten un estudio más profundo al conservar campos adicionales. Esto posibilita el análisis segmentado de resultados basados en clientes, niveles de dificultad y otras variables, sin requerir procesamiento adicional.
Para los equipos que manejan grandes cantidades de datos, la nueva capacidad de ejecución en múltiples nodos facilita la distribución de tareas, permitiendo evaluar desde miles hasta millones de ejemplos eficientemente, asegurando resultados estables y consistentes.
Estas evaluaciones pueden definirse mediante archivos JSONL en Amazon S3 y ejecutarse como trabajos de entrenamiento en SageMaker, controlando así los flujos de trabajo de pre y post-procesamiento. Los resultados estructurados pueden integrarse fácilmente con herramientas de análisis como Amazon Athena y AWS Glue. Este desarrollo abre un camino claro para la adopción empresarial de tecnologías de inteligencia artificial generativa de manera más efectiva.
