bert-large-uncased-cola

yoshitomo-matsubara

Clasificación de texto

Modelo bert-large-uncased ajustado en el conjunto de datos CoLA, utilizando torchdistill y Google Colab. Los hiperparámetros son los mismos que en el ejemplo de Hugging Face y/o el artículo de BERT, y la configuración de entrenamiento (incluidos los hiperparámetros) está disponible aquí. Envié archivos de predicción al ranking GLUE, y la puntuación general de GLUE fue de 80.2. Yoshitomo Matsubara: "torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP" en el taller EMNLP 2023 para Software de Código Abierto de Procesamiento del Lenguaje Natural (NLP-OSS)

Como usar

# Ajuste en el conjunto de datos CoLA utilizando torchdistill y Google Colab.
# Los hiperparámetros y la configuración de entrenamiento están disponibles aquí.
# Puntuación GLUE general: 80.2
# Enviado al ranking GLUE.

Funcionalidades

Clasificación de texto
Transformers
PyTorch
cola
bert
glue
torchdistill

Casos de uso

Clasificación de sentimientos
Análisis de texto
Procesamiento del lenguaje natural