MMARCO-bert-base-italian-uncased

Uso (Sentence-Transformers)

Usar este modelo se vuelve fácil cuando tienes sentence-transformers instalado:

pip install -U sentence-transformers

Luego puedes usar el modelo así:

from sentence_transformers import SentenceTransformer, util

query = "Quante persone vivono a Londra?"
docs = ["A Londra vivono circa 9 milioni di persone", "Londra è conosciuta per il suo quartiere finanziario"]

# Carga el modelo
model = SentenceTransformer('nickprock/mmarco-bert-base-italian-uncased')

# Codifica la consulta y los documentos
query_emb = model.encode(query)
doc_emb = model.encode(docs)

# Calcula la puntuación de puntos entre la consulta y todos los embeddings de documentos
scores = util.dot_score(query_emb, doc_emb)[0].cpu().tolist()

# Combina documentos y puntuaciones
doc_score_pairs = list(zip(docs, scores))

# Ordena por puntuación decreciente
doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)

# Salida de pasajes y puntuaciones
for doc, score in doc_score_pairs:
    print(score, doc)

Uso (HuggingFace Transformers)

Sin sentence-transformers, puedes usar el modelo así: Primero, pasas tu entrada a través del modelo transformer, luego tienes que aplicar la operación de pooling correcta sobre los embeddings de palabras contextualizadas.

from transformers import AutoTokenizer, AutoModel
import torch

# Mean Pooling - Considera la máscara de atención para un promedio correcto
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output.last_hidden_state
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# Codifica el texto
def encode(texts):
    # Tokeniza las oraciones
    encoded_input = tokenizer(texts, padding=True, truncation=True, return_tensors='pt')

    # Calcula los embeddings de los tokens
    with torch.no_grad():
        model_output = model(**encoded_input, return_dict=True)

    # Realiza el pooling
    embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

    return embeddings

# Oraciones para las que queremos embeddings de oraciones
query = "Quante persone vivono a Londra?"
docs = ["A Londra vivono circa 9 milioni di persone", "Londra è conosciuta per il suo quartiere finanziario"]

# Carga el modelo desde HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained("nickprock/mmarco-bert-base-italian-uncased")
model = AutoModel.from_pretrained("nickprock/mmarco-bert-base-italian-uncased")

# Codifica la consulta y los documentos
query_emb = encode(query)
doc_emb = encode(docs)

# Calcula la puntuación de puntos entre la consulta y todos los embeddings de documentos
scores = torch.mm(query_emb, doc_emb.transpose(0, 1))[0].cpu().tolist()

# Combina documentos y puntuaciones
doc_score_pairs = list(zip(docs, scores))

# Ordena por puntuación decreciente
doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)

# Salida de pasajes y puntuaciones
print("Query:", query)
for doc, score in doc_score_pairs:
    print(score, doc)