deepset/tinyroberta-6l-768d
deepset
Pregunta y respuesta
Este modelo, deepset/tinyroberta-6l-768d, es un modelo de lenguaje diseñado para la tarea de preguntas y respuestas. Ha sido entrenado utilizando el dataset SQuAD v2 y basado en la arquitectura de transformers como la de roberta. Este modelo fue destilado usando la metodología TinyBERT, lo que permite reducir su tamaño y mantener un rendimiento eficiente. Además, no ha sido destilado para tareas específicas, lo que permite su uso en diversas aplicaciones de NLP.
Como usar
En Transformers
from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline
model_name = "deepset/tinyroberta-squad2"
model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
En FARM
from farm.modeling.adaptive_model import AdaptiveModel
from farm.modeling.tokenization import Tokenizer
from farm.infer import Inferencer
model_name = "deepset/tinyroberta-squad2"
model = AdaptiveModel.convert_from_transformers(model_name, device="cpu", task_type="question_answering")
tokenizer = Tokenizer.load(model_name)
En haystack
reader = FARMReader(model_name_or_path="deepset/roberta-base-squad2")
# o
reader = TransformersReader(model_name_or_path="deepset/roberta-base-squad2",tokenizer="deepset/roberta-base-squad2")
Funcionalidades
- Tarea de preguntas y respuestas
- Arquitectura basada en transformers
- Entrenado con el dataset SQuAD v2
- Compatible con PyTorch y Safetensors
- Distilado usando TinyBERT
Casos de uso
- Sistema de preguntas y respuestas
- Procesamiento de lenguaje natural
- Aplicaciones en chatbots
- Análisis de texto a gran escala