Amazon ha introducido nuevas funcionalidades en su plataforma Amazon Bedrock, dirigidas a mejorar la evaluación de modelos fundamentales y sistemas de Generación Aumentada por Recuperación. Con esta actualización, las organizaciones podrán evaluar tanto modelos residentes en Amazon Bedrock como aquellos operando en otras plataformas, mediante las Evaluaciones de Amazon Bedrock.
Destaca dentro de estas herramientas la técnica «LLM-as-a-judge», que realiza evaluaciones automatizadas equiparables en calidad a las realizadas por humanos. Este método proporciona una evaluación de diferentes aspectos de la inteligencia artificial responsable, como la exactitud y exhaustividad, sin necesidad de intervención humana. Además, las organizaciones pueden aplicar métricas personalizadas que correspondan mejor a sus necesidades empresariales, permitiendo evaluaciones más precisas y útiles de sus aplicaciones de inteligencia artificial generativa.
El sistema también incluye plantillas predefinidas y métricas basadas en criterios generales, aunque brinda la posibilidad a los usuarios de crear métricas personalizadas que reflejen sus necesidades específicas. Entre sus funciones, se permite integrar contenido dinámico en las evaluaciones y proporciona opciones avanzadas para definir formatos de salida personalizados.
Este avance busca capacitar a las empresas para que mantengan la calidad y optimicen continuamente sus sistemas de inteligencia artificial en línea con sus metas estratégicas. El uso de métricas personalizadas, además de ampliar las capacidades de evaluación, fomenta un análisis más detallado y contextualizado de los resultados, generando un impacto más significativo en el rendimiento del negocio.
