Finetuned_Alibaba_Large
openpecha
Similitud de oraciones
Este es un modelo de sentence-transformers afinado desde Alibaba-NLP/gte-large-en-v1.5. Mapea frases y párrafos a un espacio vectorial denso de 1024 dimensiones y puede ser utilizado para similitud textual semántica, búsqueda semántica, minería de paráfrasis, clasificación de texto, agrupamiento y más.
Como usar
Primero instala la biblioteca de Sentence Transformers:
pip install -U sentence-transformers
Luego puedes cargar este modelo y ejecutar la inferencia.
from sentence_transformers import SentenceTransformer
# Descargar desde el Hub de 🤗
model = SentenceTransformer("sentence_transformers_model_id")
# Ejecutar inferencia
sentences = [
'¿Quién le dio una conferencia al Dalai Lama antes de que saliera de Lhasa?',
"Antes de que el Dalai Lama dejara Lhasa, recibió una larga conferencia del General Chang Chin-wu, el representante permanente de China...",
'Todo lugar a donde fui, estuve acompañado por un séquito de sirvientes...'
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]
# Obtener los puntajes de similitud para los embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
Funcionalidades
- Modelo Transformer de Frases
- Modelo base: Alibaba-NLP/gte-large-en-v1.5
- Longitud máxima de secuencia: 8192 tokens
- Dimensionalidad de salida: 1024 tokens
- Función de similitud: Similitud Coseno
Casos de uso
- Similitud textual semántica
- Búsqueda semántica
- Minería de paráfrasis
- Clasificación de texto
- Agrupamiento