Multilingual-Text-Semantic-Search-Siamese-BERT-V1

Uso (Sentence-Transformers)

Instalar sentence-transformers:

pip install -U sentence-transformers

Luego puede usar el modelo así:

from sentence_transformers import SentenceTransformer, util

query = "How many people live in London?"
docs = ["Around 9 Million people live in London", "London is known for its financial district"]

#Cargar el modelo
model = SentenceTransformer('SeyedAli/Multilingual-Text-Semantic-Search-Siamese-BERT-V1')

#Codificar la consulta y los documentos
query_emb = model.encode(query)
doc_emb = model.encode(docs)

#Calcular la puntuación del producto punto entre la consulta y todas las representaciones de los documentos
scores = util.dot_score(query_emb, doc_emb)[0].cpu().tolist()

#Combinar documentos y puntuaciones
doc_score_pairs = list(zip(docs, scores))

#Ordenar por puntuación descendente
doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)

#Mostrar los pasajes y puntuaciones
for doc, score in doc_score_pairs:
    print(score, doc)

Uso (HuggingFace Transformers con PyTorch)

Sin sentence-transformers, puede usar el modelo así:

from transformers import AutoTokenizer, AutoModel
import torch
import torch.nn.functional as F

#Agrupamiento por promedio - Tomar el promedio de todos los tokens
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output.last_hidden_state
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

#Codificar texto
def encode(texts):
    # Tokenizar oraciones
    encoded_input = tokenizer(texts, padding=True, truncation=True, return_tensors='pt')

    # Calcular las representaciones de los tokens
    with torch.no_grad():
        model_output = model(**encoded_input, return_dict=True)

    # Realizar el agrupamiento
    embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

    # Normalizar las representaciones
    embeddings = F.normalize(embeddings, p=2, dim=1)

    return embeddings

# Oraciones para las que queremos obtener representaciones
query = "How many people live in London?"
docs = ["Around 9 Million people live in London", "London is known for its financial district"]

# Cargar el modelo desde HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained("SeyedAli/Multilingual-Text-Semantic-Search-Siamese-BERT-V1")
model = AutoModel.from_pretrained("SeyedAli/Multilingual-Text-Semantic-Search-Siamese-BERT-V1")

#Codificar consulta y documentos
query_emb = encode(query)
doc_emb = encode(docs)

#Calcular la puntuación del producto punto entre la consulta y todas las representaciones de los documentos
scores = torch.mm(query_emb, doc_emb.transpose(0, 1))[0].cpu().tolist()

#Combinar documentos y puntuaciones
doc_score_pairs = list(zip(docs, scores))

#Ordenar por puntuación descendente
doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)

#Mostrar los pasajes y puntuaciones
for doc, score in doc_score_pairs:
    print(score, doc)

Uso (HuggingFace Transformers con TensorFlow)

Similar al ejemplo de PyTorch anterior, para usar el modelo con TensorFlow debes pasar tu entrada a través del modelo transformer, luego aplicar la operación de agrupamiento correcta sobre las representaciones de palabra contextualizadas.

from transformers import AutoTokenizer, TFAutoModel
import tensorflow as tf

#Agrupamiento por promedio - Tomar en cuenta la máscara de atención para el promedio correcto
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output.last_hidden_state
    input_mask_expanded = tf.cast(tf.tile(tf.expand_dims(attention_mask, -1), [1, 1, token_embeddings.shape[-1]]), tf.float32)
    return tf.math.reduce_sum(token_embeddings * input_mask_expanded, 1) / tf.math.maximum(tf.math.reduce_sum(input_mask_expanded, 1), 1e-9)

#Codificar texto
def encode(texts):
    # Tokenizar oraciones
    encoded_input = tokenizer(texts, padding=True, truncation=True, return_tensors='tf')

    # Calcular las representaciones de los tokens
    model_output = model(**encoded_input, return_dict=True)

    # Realizar el agrupamiento
    embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

    # Normalizar las representaciones
    embeddings = tf.math.l2_normalize(embeddings, axis=1)

    return embeddings

# Oraciones para las que queremos obtener representaciones
query = "How many people live in London?"
docs = ["Around 9 Million people live in London", "London is known for its financial district"]

# Cargar el modelo desde HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained("SeyedAli/Multilingual-Text-Semantic-Search-Siamese-BERT-V1")
model = TFAutoModel.from_pretrained("SeyedAli/Multilingual-Text-Semantic-Search-Siamese-BERT-V1")

#Codificar consulta y documentos
query_emb = encode(query)
doc_emb = encode(docs)

#Calcular la puntuación del producto punto entre la consulta y todas las representaciones de los documentos
scores = (query_emb @ tf.transpose(doc_emb))[0].numpy().tolist()

#Combinar documentos y puntuaciones
doc_score_pairs = list(zip(docs, scores))

#Ordenar por puntuación descendente
doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)

#Mostrar los pasajes y puntuaciones
for doc, score in doc_score_pairs:
    print(score, doc)