stsbm-sentence-flare-it

nickprock
Similitud de oraciones

Este es un modelo de sentence-transformers: mapea oraciones y párrafos a un espacio vectorial denso de 384 dimensiones y puede ser usado para tareas como agrupamiento o búsqueda semántica.

Como usar

Using this model becomes easy when you have sentence-transformers installed:

pip install -U sentence-transformers

Then you can use the model like this:

from sentence_transformers import SentenceTransformer
sentences = ["Una ragazza si acconcia i capelli.", "Una ragazza si sta spazzolando i capelli."]

model = SentenceTransformer('nickprock/stsbm-sentence-flare-it')
embeddings = model.encode(sentences)
print(embeddings)

Using HuggingFace Transformers:

from transformers import AutoTokenizer, AutoModel
import torch

#Mean Pooling - Take attention mask into account for correct averaging
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] #First element of model_output contains all token embeddings
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# Sentences we want sentence embeddings for
sentences = ["Una ragazza si acconcia i capelli.", "Una ragazza si sta spazzolando i capelli."]

# Load model from HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained('nickprock/stsbm-sentence-flare-it')
model = AutoModel.from_pretrained('nickprock/stsbm-sentence-flare-it')

# Tokenize sentences
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# Compute token embeddings
with torch.no_grad():
    model_output = model(**encoded_input)

# Perform pooling. In this case, mean pooling.
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

print("Sentence embeddings:")
print(sentence_embeddings)

Funcionalidades

Transformadores de oraciones
Espacio vectorial denso de 384 dimensiones
Tareas de agrupamiento
Búsqueda semántica
Compatibilidad con PyTorch
Compatibilidad con Transformers
Compatible con AutoTrain
Inferencia de embeddings de texto
Compatibilidad con Endpoints de Inferencia

Casos de uso

Clasificación de oraciones
Detección de intención masiva en Amazon
Similitud semántica entre oraciones
Clustering de oraciones
Búsqueda semántica