SBERT-base-nli-v2

Muennighoff
Similitud de oraciones

Este modelo se utiliza en 'SGPT: Embeddings de Oraciones de GPT para Búsqueda Semántica' y 'TSDAE: Uso de Auto-Encoder de Desenmascarado Secuencial basado en Transformador para Aprendizaje no Supervisado de Embeddings de Oraciones'.

Como usar

Uso

Para instrucciones de uso, consulte nuestro repositorio: https://github.com/Muennighoff/sgpt

Uso (Sentence-Transformers)

pip install -U sentence-transformers
from sentence_transformers import SentenceTransformer

sentences = ["Esta es una oración de ejemplo", "Cada oración es convertida"]
model = SentenceTransformer('{MODEL_NAME}')
embeddings = model.encode(sentences)
print(embeddings)

Uso (HuggingFace Transformers)

from transformers import AutoTokenizer, AutoModel
import torch

def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

sentences = ['Esta es una oración de ejemplo', 'Cada oración es convertida']
tokenizer = AutoTokenizer.from_pretrained('{MODEL_NAME}')
model = AutoModel.from_pretrained('{MODEL_NAME}')
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

with torch.no_grad():
    model_output = model(**encoded_input)
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

print("Embeddings de oraciones:")
print(sentence_embeddings)

Funcionalidades

Similaridad de oraciones
Transformers
PyTorch
bert
Extracción de características
Inferencia de embeddings de texto
Endpuntos de Inferencia

Casos de uso

Búsqueda semántica
Aprendizaje no supervisado de embeddings de oraciones