multi-qa-mpnet-base-dot-v1

Uso (Sentence-Transformers)

Usar este modelo es fácil cuando tienes sentence-transformers instalado:

pip install -U sentence-transformers

Entonces puedes usar el modelo de esta manera:

from sentence_transformers import SentenceTransformer, util

query = "How many people live in London?"
docs = ["Around 9 Million people live in London", "London is known for its financial district"]

# Cargar el modelo
model = SentenceTransformer('sentence-transformers/multi-qa-mpnet-base-dot-v1')

# Codificar la consulta y los documentos
doc_emb = model.encode(query)

# Calcular la puntuación de producto punto entre la consulta y los embeddings de los documentos
scores = util.dot_score(query_emb, doc_emb)[0].cpu().tolist()

# Combinar documentos y puntuaciones
doc_score_pairs = list(zip(docs, scores))

# Ordenar por puntuación decreciente
doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)

# Pasajes de salida y puntuaciones
for doc, score in doc_score_pairs:
  print(score, doc)

Uso (Transformers de HuggingFace)

Sin sentence-transformers, puedes usar el modelo así: Primero, pasa tu entrada a través del modelo transformador, luego debes aplicar la operación de pooling correcta sobre los embeddings de palabras contextualizados.

from transformers import AutoTokenizer, AutoModel
import torch

# Pooling CLS - Tomar la salida del primer token
def cls_pooling(model_output):
  return model_output.last_hidden_state[:,0]

# Codificar texto
def encode(texts):
  # Tokenizar oraciones
  encoded_input = tokenizer(texts, padding=True, truncation=True, return_tensors='pt')

  # Calcular embeddings de tokens
  with torch.no_grad():
    model_output = model(**encoded_input, return_dict=True)

  # Realizar pooling
  embeddings = cls_pooling(model_output)

  return embeddings

# Oraciones para las que queremos embeddings de oraciones
query = "How many people live in London?"
docs = ["Around 9 Million people live in London", "London is known for its financial district"]

# Cargar el modelo desde HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained('sentence-transformers/multi-qa-mpnet-base-dot-v1')
model = AutoModel.from_pretrained('sentence-transformers/multi-qa-mpnet-base-dot-v1')

# Codificar consulta y documentos
query_emb = encode(query)
doc_emb = encode(docs)

# Calcular la puntuación de producto punto entre la consulta y los embeddings de los documentos
scores = torch.mm(query_emb, doc_emb.transpose(0, 1))[0].cpu().tolist()

# Combinar documentos y puntuaciones
doc_score_pairs = list(zip(docs, scores))

# Ordenar por puntuación decreciente
doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)

# Pasajes de salida y puntuaciones
for doc, score in doc_score_pairs:
  print(score, doc)