togethercomputer/m2-bert-80M-32k-retrieval
togethercomputer
Similitud de oraciones
Un punto de control de 80M de M2-BERT, preentrenado con una longitud de secuencia de 32768, y ha sido ajustado para la recuperación de contexto largo. Consulte el artículo Monarch Mixer: A Simple Sub-Quadratic GEMM-Based Architecture y nuestra publicación en el blog sobre recuperación para más información sobre cómo entrenamos este modelo para secuencias largas. Este modelo fue entrenado por Jon Saad-Falcon, Dan Fu y Simran Arora.
Como usar
Puedes cargar este modelo usando Hugging Face AutoModel:
from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained(
"togethercomputer/m2-bert-80M-32k-retrieval",
trust_remote_code=True
)
Embadados de ejemplo:
from transformers import AutoTokenizer, AutoModelForSequenceClassification
max_seq_length = 32768
testing_string = "Every morning, I make a cup of coffee to start my day."
model = AutoModelForSequenceClassification.from_pretrained(
"togethercomputer/m2-bert-80M-32k-retrieval",
trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(
"bert-base-uncased",
model_max_length=max_seq_length
)
input_ids = tokenizer(
[testing_string],
return_tensors="pt",
padding="max_length",
return_token_type_ids=False,
truncation=True,
max_length=max_seq_length
)
outputs = model(**input_ids)
embeddings = outputs['sentence_embedding']
Funcionalidades
- Preentrenado con longitud de secuencia de 32768
- Ajustado para la recuperación de contexto largo
- Los embeddings tienen una dimensionalidad de 768
- Genera embeddings para la recuperación
Casos de uso
- Recuperación de contexto largo
- Generación de embeddings para secuencias largas
- Utilización en aplicaciones que requieren comprensión de texto a largo plazo