distilbert-base-uncased-finetuned-mnli-amazon-query-shopping

Este modelo es una versión refinada de distilbert-base-uncased en un conjunto de datos de consultas de compras en Amazon. DistilBERT es un modelo de transformadores, más pequeño y rápido que BERT, que fue preentrenado en el mismo corpus de manera auto supervisada, utilizando el modelo base de BERT como maestro. Esto significa que fue preentrenado solo en textos sin procesar, sin que los humanos los etiquetaran de ninguna manera (por lo cual puede usar muchos datos disponibles públicamente), con un proceso automático para generar entradas y etiquetas a partir de esos textos utilizando el modelo base de BERT. Reemplazamos su cabeza con nuestra categoría de relevancia de compras para entrenarlo con 571,223 filas del conjunto de entrenamiento y validarlo con 142,806 filas del conjunto de desarrollo. Finalmente, evaluamos el rendimiento de nuestro modelo en un conjunto de prueba retenido: 79,337 filas. El modelo no distingue entre 'english' e 'English'.