davanstrien/code-prompt-similarity-model

davanstrien
Similitud de oraciones

Este es un modelo de transformadores de oraciones perfeccionado a partir de microsoft/mpnet-base. Mapea oraciones y párrafos a un espacio vectorial denso de 768 dimensiones y puede ser utilizado para similitud textual semántica, búsqueda semántica, minería de paráfrasis, clasificación de texto, agrupamiento y más.

Como usar

Instalar la librería de transformadores de oraciones:

pip install -U sentence-transformers

Luego puedes cargar este modelo y ejecutar inferencias:

from sentence_transformers import SentenceTransformer
# Descargar desde el Hub
model = SentenceTransformer("davanstrien/code-prompt-similarity-model")

# Ejecutar inferencias
sentences = [
    'Escribe una función de Python que toma un número de nota MIDI y devuelve el número de tecla del piano correspondiente.',
    'Crea una función de Python que traduzca números de nota MIDI a números de teclas del piano, facilitando la generación de música.',
    'Escribe una función de Python que acepte un diccionario y devuelva un conjunto de valores distintos. Si una clave mapea a una lista vacía, devuelve un conjunto vacío.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Obtener las puntuaciones de similitud para las incrustaciones
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Funcionalidades

Trasforma texto a un espacio vectorial de 768 dimensiones
Función de similitud: Similitud del Coseno
Longitud máxima de secuencia: 512 tokens
Soporta varias métricas de evaluación como 'accuracy del coseno', 'accuracy del punto', 'accuracy Euclidiana', y más

Casos de uso

Similitud textual semántica entre oraciones o párrafos
Búsqueda semántica
Minería de paráfrasis
Clasificación de textos
Agrupamiento de textos