bge-large-en-v1.5-ISO-27001
Este es un modelo de incrustación afinado de bge-large-en-v1.5. Fue afinado en un conjunto de datos basado en un corpus de texto ISO 27001 que consiste en fragmentos de texto (1024 caracteres) y preguntas asociadas. Se generaron un total de 2.000 pares de fragmentos y preguntas. El proceso de afinación está especializado en una tarea de recuperación de información en la que se utilizan las preguntas generadas para encontrar los fragmentos relevantes. La efectividad del modelo se evalúa en función de si se recuperó el fragmento correcto, y la pérdida se calcula con la pérdida de clasificación de múltiples negativos.
Como usar
Usar este modelo se vuelve fácil cuando tienes instalado sentence-transformers:
pip install -U sentence-transformers
Luego puedes usar el modelo de la siguiente manera:
from sentence_transformers import SentenceTransformer
sentences = ["Esta es una oración de ejemplo", "Cada oración se convierte"]
model = SentenceTransformer('bge-large-en-v1.5-ISO-27001')
embeddings = model.encode(sentences)
print(embeddings)
Funcionalidades
- Modelo de incrustación afinado
- Afinado en un corpus de texto ISO 27001
- Especializado en tareas de recuperación de información
- Evaluación basada en la recuperación de fragmentos correctos
- Pérdida calculada con la pérdida de clasificación de múltiples negativos
Casos de uso
- Recuperación de información
- Encuentra fragmentos relevantes en un corpus de texto
- Genera preguntas para buscar información