gte-large-zh

thenlper

Similitud de oraciones

General Text Embeddings (GTE) es un modelo. Hacia Embeddings de Texto Generales con Aprendizaje Contrastivo Multi-etapa. Los modelos GTE están entrenados por Alibaba DAMO Academy. Están principalmente basados en el marco BERT y actualmente ofrecen diferentes tamaños de modelos para los idiomas chino e inglés. Los modelos GTE están entrenados en un corpus a gran escala de pares de texto relevantes, cubriendo una amplia gama de dominios y escenarios. Esto permite que los modelos GTE sean aplicados a varias tareas posteriores de embeddings de texto, incluyendo recuperación de información, similitud textual semántica, reordenamiento de texto, etc.

Como usar

Código de ejemplo
import torch.nn.functional as F
from torch import Tensor
from transformers import AutoTokenizer, AutoModel

input_texts = [
"中国的首都是哪里",
"你喜欢去哪里旅游",
"北京",
"今天中午吃什么"
]

tokenizer = AutoTokenizer.from_pretrained("thenlper/gte-large-zh")
model = AutoModel.from_pretrained("thenlper/gte-large-zh")

# Tokenizar los textos de entrada
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = outputs.last_hidden_state[:, 0]

# (Opcional) normalizar los embeddings
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:1] @ embeddings[1:].T) * 100
print(scores.tolist())

Uso con sentence-transformers:
from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim

sentences = ['That is a happy person', 'That is a very happy person']

model = SentenceTransformer('thenlper/gte-large-zh')
embeddings = model.encode(sentences)
print(cos_sim(embeddings[0], embeddings[1]))

Funcionalidades

Modelo basado en el marco BERT
Ofrece modelos de diferentes tamaños
Compatible con los idiomas chino e inglés
Entrenado en un corpus a gran escala
Aplicable a múltiples tareas de embeddings de texto

Casos de uso

Recuperación de información
Similitud textual semántica
Reordenamiento de texto