kobigbird-pure2-89302097
alphahg
Pregunta y respuesta
Este modelo es una versión ajustada de monologg/kobigbird-bert-base en el conjunto de datos custom_squad_v2. Logra los siguientes resultados en el conjunto de evaluación: Pérdida: 1.0787
Como usar
El siguiente hyperparameters fueron usados durante el entrenamiento:
- Tasa de aprendizaje: 5e-05
- Tamaño de lote de entrenamiento: 32
- Tamaño de lote de evaluación: 32
- Semilla: 2
- Pasos de acumulación del gradiente: 8
- Tamaño total del lote de entrenamiento: 256
- Optimizador: Adam con betas=(0.9,0.999) y epsilon=1e-08
- Tipo de planificador de tasa de aprendizaje: cónsico
- Número de épocas: 3
- Entrenamiento de precisión mixta: AMP nativo
Funcionalidades
- Transformadores
- PyTorch
- TensorBoard
- Big Bird
- Generado desde el entrenador
- Compatible con endpoints
Casos de uso
- Respuesta a preguntas
- Análisis de textos grandes
- Procesamiento de lenguaje natural (NLP)