edyfjm07/distilbert-base-uncased-QA4-finetuned-squad-es
Este modelo es una versión afinada de distilbert-base-uncased en un conjunto de datos desconocido. Alcanza los siguientes resultados en el conjunto de evaluación: Pérdida en el entrenamiento: 0.0931 Precisión de los logits finales en el entrenamiento: 0.9559 Precisión de los logits iniciales en el entrenamiento: 0.9685 Pérdida en la validación: 1.2632 Precisión de los logits finales en la validación: 0.8088 Precisión de los logits iniciales en la validación: 0.8088 Época: 45
Como usar
Procedimiento de entrenamiento
Los siguientes hiperparámetros fueron utilizados durante el entrenamiento:
optimizer: `{'name': 'Adam', 'weight_decay': None, 'clipnorm': None, 'global_clipnorm': None, 'clipvalue': None, 'use_ema': False, 'ema_momentum': 0.99, 'ema_overwrite_frequency': None, 'jit_compile': True, 'is_legacy_optimizer': False, 'learning_rate': {'module': 'keras.optimizers.schedules', 'class_name': 'PolynomialDecay', 'config': {'initial_learning_rate': 1e-05, 'decay_steps': 5474, 'end_learning_rate': 0.0, 'power': 1.0, 'cycle': False, 'name': None}, 'registered_name': None}, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-08, 'amsgrad': False}
training_precision: float32
Funcionalidades
- finetuneado en distilbert-base-uncased
- optimizado con Adam
- compatible con TensorFlow y TensorBoard
Casos de uso
- Respuesta a preguntas
- Aplicaciones de chatbot
- Sistemas de soporte al cliente