Los transformadores de oraciones se han consolidado como herramientas indispensables en el campo de la inteligencia artificial, especialmente en el procesamiento del lenguaje natural (NLP). Estos modelos de aprendizaje profundo son capaces de convertir frases en vectores con longitud fija, capturando su significado semántico y facilitando tareas como la clasificación de textos, la agrupación, la búsqueda semántica y la recuperación de información.
En el ámbito del comercio electrónico, Amazon ha adoptado el uso de transformadores de oraciones para mejorar la categorización de productos en su amplio catálogo. Recientemente, un estudio comparó el rendimiento de dos transformadores de oraciones al clasificar productos de Amazon: el transformador público Paraphrase-MiniLM-L6-v2 y el modelo propio de Amazon, M5_ASIN_SMALL_V2.0. Este último es un modelo avanzado, basado en BERT, y ha sido afinado con datos internos del catálogo de Amazon, incluyendo títulos, características destacadas y descripciones de productos. Se asumió inicialmente que el modelo M5 superaría al Paraphrase-MiniLM debido a su entrenamiento con datos específicos de Amazon.
La investigación validó esta hipótesis mediante un experimento que afina estos transformadores usando un conjunto de datos de productos de Amazon del año 2020. Este conjunto, accesible al público, incluye detalles como el nombre del producto, categoría, precio y especificaciones técnicas. Tras la afinación, los modelos fueron evaluados en su capacidad para clasificar productos utilizando un clasificador XGBoost.
El éxito de esta mejora reside en el cuidadoso proceso de preprocesamiento, que normaliza los textos, define la categoría principal y selecciona los campos más relevantes para asegurar una clasificación precisa. Un modelo de clasificador final fue desarrollado entrenando el Paraphrase-MiniLM-L6-v2 durante cinco épocas, optimizando para reducir la pérdida.
Los resultados indicaron que, con el uso inicial del transformador Paraphrase-MiniLM-L6-v2, se obtuvo un 78% de precisión en la clasificación de productos. Sin embargo, tras su afinación, la precisión aumentó considerablemente a un 94%. Por otro lado, el modelo M5_ASIN_SMALL_V2.0 logró una precisión inicial similar al primer modelo, pero después de su afinación, alcanzó un impresionante 98% de precisión.
Estos hallazgos destacan la eficacia de afinar los transformadores de oraciones con datos propios de Amazon, permitiendo mejorar significativamente la precisión de la clasificación de productos. En conclusión, los transformadores de oraciones ajustados con precisión no solo optimizan la clasificación de productos, sino que también abren nuevas oportunidades para la implementación de tecnologías de inteligencia artificial más precisas en el comercio electrónico.
