Sheared-LLaMA-encoder-1.3B

knowledgator

Pregunta y respuesta

Esta es una versión bidireccional de Sheared-LLaMA-1.3B entrenada con predicción de tokens enmascarados en el conjunto de datos de Wikipedia. Los modelos modernos de decodificadores ofrecen varias ventajas sobre los codificadores clásicos como BERT: - Están preentrenados en corpora textuales más recientes. - Están entrenados en conjuntos de datos más grandes y diversos. - Los decodificadores modernos tienen mejor soporte para ventanas de contexto largo. - El soporte de atención flash está disponible para estos modelos. Teniendo en cuenta estos beneficios, estamos emocionados de lanzar una serie de modelos de decodificadores ajustados para trabajar en un entorno bidireccional. Este enfoque combina la fuerza de las arquitecturas modernas de decodificadores con la versatilidad en la comprensión del contexto bidireccional, abriendo potencialmente nuevas posibilidades para varias tareas de procesamiento de lenguaje natural, como el reconocimiento de entidades nombradas (NER). En comparación con el LLM2Vec original, entrenamos todos los pesos del modelo LLama, lo que potencialmente mejora las habilidades bidireccionales del modelo.

Como usar

from llm2vec.models import LlamaBiModel
import torch
from transformers import AutoTokenizer

# Cargando el modelo base de Mistral, junto con el código personalizado que habilita conexiones bidireccionales en LLM solo decodificadores. Los pesos de MNTP LoRA se fusionan en el modelo base.
tokenizer = AutoTokenizer.from_pretrained('knowledgator/Sheared-LLaMA-encoder-1.3B')
model = LlamaBiModel.from_pretrained('knowledgator/Sheared-LLaMA-encoder-1.3B')

text = 'The quick brown fox jumps over the lazy dog.'
inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True, max_length=512)

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = model.to(device)
inputs = {k: v.to(device) for k, v in inputs.items()}

with torch.no_grad():
    outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

Funcionalidades

Versión bidireccional de Sheared-LLaMA-1.3B
Predicción de tokens enmascarados
Soporte de atención flash
Entrenado en corpora más reciente y diversa
Ventanas de contexto largas

Casos de uso

Clasificación de texto
Respuesta a preguntas
Reconocimiento de entidades nombradas (NER)
Generación de texto