snunlp/KLUE-SRoBERTa-Large-SNUExtended-klueNLI-klueSTS
snunlp
Similitud de oraciones
Este es un modelo de sentence-transformers entrenado en el conjunto de datos klue/klue. Mapea oraciones y párrafos a un espacio vectorial denso de 1024 dimensiones y se puede usar para la similitud textual semántica, búsqueda semántica, minería de paráfrasis, clasificación de texto, agrupación y más.
Como usar
Primero instala la librería de Sentence Transformers:
pip install -U sentence-transformers
Luego puedes cargar este modelo y ejecutar la inferencia:
from sentence_transformers import SentenceTransformer
# Descargar desde 🤗 Hub
model = SentenceTransformer('snunlp/KLUE-SRoBERTa-Large-SNUExtended-klueNLI-klueSTS')
# Ejecutar inferencia
sentences = [
'SR은 동대구·김천구미·신경주역에서 승하차하는 모든 국민에게 운임 10%를 할인해 준다.',
'SR은 동대구역, 김천구미역, 신주역을 오가는 모든 승객을 대상으로 요금을 10% 할인해 드립니다.',
'수강신청 하는 날짜가 어느 날짜인지 아시는지요?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]
# Obtener las puntuaciones de similitud para los embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
Funcionalidades
- Modelo type: Sentence Transformer
- Longitud máxima de secuencia: 512 tokens
- Dimensionalidad de salida: 1024 tokens
- Función de similitud: Cosine Similarity
- Conjunto de datos de entrenamiento: klue/klue
Casos de uso
- Similitud textual semántica
- Búsqueda semántica
- Minería de paráfrasis
- Clasificación de texto
- Agrupación de textos