Amazon ha dado a conocer la incorporación de dos innovadoras plantillas de interfaz de usuario, llamadas Text Ranking y Question and Answer, en su servicio SageMaker AI. Estas herramientas están concebidas para optimizar la calidad de los modelos de lenguaje, permitiendo a los usuarios obtener comentarios más detallados y específicos.
La plantilla Text Ranking está diseñada para que los anotadores humanos puedan clasificar diversas respuestas generadas por un modelo de lenguaje grande (LLM) basándose en criterios como la relevancia, la claridad o la precisión factual. Este tipo de retroalimentación desempeña un papel esencial en la afinación de los modelos mediante el uso de Reinforcement Learning from Human Feedback (RLHF), lo cual mejora la alineación de las respuestas del modelo con las preferencias humanas. En contraste, la plantilla Question and Answer ayuda a crear pares de preguntas y respuestas de alta calidad a partir de textos proporcionados, sirviendo como datos demostrativos para el Supervised Fine-Tuning (SFT). Esta técnica enseña a los modelos a responder con precisión a entradas futuras similares.
Para acceder a estas plantillas, los usuarios deben dirigirse a la consola de SageMaker AI, donde se ha añadido una nueva categoría llamada Generative AI bajo el tipo de tarea. Desde allí, pueden crear trabajos de etiquetado definiendo la ubicación del manifiesto de entrada y la ruta de salida.
El uso de Text Ranking requiere un archivo JSON que describe el contenido a clasificar, permitiendo una evaluación más estructurada. Las anotaciones se almacenan en un bucket de S3 definido por el usuario, facilitando la revisión continua del modelo.
Por otro lado, con la plantilla de Question and Answer, los anotadores pueden desarrollar preguntas y respuestas pertinentes a partir de fragmentos de texto. Esta modalidad ofrece un formato flexible e incorpora una función de coincidencia por colores, lo cual ayuda a identificar rápidamente las secciones relevantes del contenido.
Además, SageMaker AI ofrece una API de Creación de Trabajos de Etiquetado, permitiendo a los usuarios configurar trabajos de clasificación de manera programática. Esto proporciona una gran flexibilidad y facilita la integración en flujos de trabajo ya existentes.
Con estas avanzadas funcionalidades, Amazon SageMaker AI busca fortalecer a sus usuarios para generar de manera más eficiente conjuntos de datos de alta calidad, mejorando así el entrenamiento y la evaluación de modelos de lenguaje más alineados con las necesidades y preferencias humanas.
