bert-base-uncased-finetuned-squad_v1
Este modelo es una versión ajustada de bert-base-uncased en el dataset None. Los hiperparámetros utilizados durante el entrenamiento incluyen una tasa de aprendizaje de 3e-05, un tamaño de batch de entrenamiento de 16, un tamaño de batch de evaluación de 16, una semilla de 42, pasos de acumulación de gradiente de 2, un tamaño total de batch de entrenamiento de 32, y el optimizador Adam con betas=(0.9, 0.999) y epsilon=1e-08. El tipo de scheduler de tasa de aprendizaje es lineal, con 500 pasos de calentamiento y se realizó entrenamiento con precisión mixta usando Native AMP. Versiones de frameworks utilizadas: Transformers 4.41.2, Pytorch 2.3.0+cu121, Datasets 2.20.0, Tokenizers 0.19.1.
Como usar
Este modelo es para Respuesta a Preguntas (Question Answering). Se puede utilizar con la API de Hugging Face Inference o desplegar a Inference Endpoints dedicado. Sin embargo, actualmente, el modelo no tiene suficiente actividad para ser desplegado en la Inference API de Hugging Face (serverless).
from transformers import AutoTokenizer, AutoModelForQuestionAnswering
# Cargar el modelo
model_name = "ozgurkk/bert-base-uncased-finetuned-squad_v1"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForQuestionAnswering.from_pretrained(model_name)
# Realizar inferencia
inputs = tokenizer("aquí va una pregunta", "aquí va el texto del contexto", return_tensors="pt")
outputs = model(**inputs)
Funcionalidades
- Fine-tune de bert-base-uncased en el dataset None
- Soporte de Transformers 4.41.2
- Soporte de Pytorch 2.3.0+cu121
- Soporte de Datasets 2.20.0
- Soporte de Tokenizers 0.19.1
- Entrenamiento con precisión mixta usando Native AMP
- Optimización con Adam
Casos de uso
- Responder preguntas basadas en un contexto específico