Intel/dynamic-minilmv2-L6-H384-squad1.1-int8-static

Este modelo es el resultado de un nuevo enfoque llamado QuaLA-MiniLM, que combina la destilación de conocimiento, la técnica del transformador adaptable en longitud (LAT) y la cuantificación de bajo bit. Se expande el enfoque Dynamic-TinyBERT. Este enfoque entrena un modelo único que puede adaptarse a cualquier escenario de inferencia con un presupuesto computacional dado, logrando una relación superior entre precisión y eficiencia en el conjunto de datos SQuAD1.1. Los autores compararon su enfoque con otros métodos eficientes y encontraron que logra hasta una aceleración x8.8 con menos de un 1% de pérdida de precisión. También proporcionan su código públicamente en GitHub.