canine-c-squad
Splend1dchan
Pregunta y respuesta
Modelo de respuesta a preguntas basado en transformers y PyTorch. Utiliza índices de atención y capacidades de procesamiento de lenguaje natural para inferencia.
Como usar
python run_squad.py --model_name_or_path google/canine-c --do_train --do_eval --per_gpu_train_batch_size 1 --per_gpu_eval_batch_size 1 --gradient_accumulation_steps 128 --learning_rate 3e-5 --num_train_epochs 3 --max_seq_length 1024 --doc_stride 128 --max_answer_length 240 --output_dir canine-c-squad --model_type bert
Funcionalidades
- Respuesta a preguntas
- Arquitecturas CanineForQuestionAnswering
- Tasa de reducción de muestreo: 4
- Tamaño oculto: 768
- Tamaño intermedio: 3072
- Número de capas ocultas: 12
- Número de cabezas de atención: 12
- Tamaño de las posiciones máximo: 16384
- Modelo tipo: Canine
- Versión de Transformers: 4.19.0.dev0
- Probabilidad de abandono de atención: 0.1
- Tamaño de kernel de muestreo: 4
- Capacidades de almacenamiento de caché habilitadas
Casos de uso
- Responder preguntas basadas en texto
- Asistentes virtuales
- Sistemas de búsqueda de información