microsoft/xtremedistil-l6-h384-uncased

XtremeDistilTransformers es un modelo transformador destilado independiente de la tarea que aprovecha la transferencia de tareas para aprender un modelo universal pequeño que se puede aplicar a tareas y idiomas arbitrarios, como se describe en el artículo XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation. Utilizamos la transferencia de tareas combinada con técnicas de destilación multitarea de los artículos XtremeDistil: Multi-stage Distillation for Massive Multilingual Models y MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers con el siguiente código de Github. Este punto de control l6-h384 con 6 capas, tamaño oculto de 384, y 12 cabezas de atención corresponde a 22 millones de parámetros con una aceleración de 5.3x sobre BERT-base.