microsoft/xtremedistil-l12-h384-uncased
microsoft
Clasificación de texto
XtremeDistilTransformers es un modelo transformer destilado y agnóstico a tareas que aprovecha la transferencia de tareas para aprender un modelo universal pequeño que se puede aplicar a tareas y lenguajes arbitrarios, como se describe en el artículo XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation.
Como usar
import tensorflow as tf
from transformers import DistilBertTokenizer, TFDistilBertModel
model_name = "microsoft/xtremedistil-l12-h384-uncased"
tokenizer = DistilBertTokenizer.from_pretrained(model_name)
model = TFDistilBertModel.from_pretrained(model_name)
inputs = tokenizer("Hello, world!", return_tensors="tf")
outputs = model(inputs)
print(outputs.last_hidden_state)
Funcionalidades
- Modelo agnóstico a tareas
- Técnicas de destilación de múltiples etapas
- Compresión de transformadores preentrenados
- 22 millones de parámetros
- 5.3x de aceleración en comparación con BERT-base
Casos de uso
- Clasificación de texto
- Extracción de características de texto
- Compresión de modelos de transformadores gigantes