Arabic-SBERT-100K

akhooli
Similitud de oraciones

Este es un modelo de transformadores de oraciones afinado a partir de aubmindlab/bert-base-arabertv02. Mapea oraciones y párrafos a un espacio vectorial denso de 768 dimensiones y se puede usar para similitud textual semántica, búsqueda semántica, minería de paráfrasis, clasificación de texto, agrupamiento y más. Este modelo está entrenado con 100K muestras filtradas del conjunto de datos akhooli/arabic-triplets-1m-curated-sims-len con 75K muestras de entrenamiento y 25K de validación. Entrenado durante 5 épocas, con una pérdida final de entrenamiento de 0.133 (usando MatryoshkaLoss).

Como usar

Primero instala la biblioteca Sentence Transformers:

pip install -U sentence-transformers

Luego puedes cargar este modelo y ejecutar inferencia.

from sentence_transformers import SentenceTransformer

# Descargar desde el Hub 🤗
model = SentenceTransformer('akhooli/Arabic-SBERT-100K')
# Ejecutar inferencia
sentences = [
'ما هو نوع الدهون الموجودة في الأفوكادو',
'حوالي 15 في المائة من الدهون في الأفوكادو مشبعة ، مع كل كوب واحد من الأفوكادو المفروم يحتوي على 3.2 جرام من الدهون المشبعة ، وهو ما يمثل 16 في المائة من DV البالغ 20 جرامًا. تحتوي الأفوكادو في الغالب على دهون أحادية غير مشبعة ، مع 67 في المائة من إجمالي الدهون ، أو 14.7 جرامًا لكل كوب مفروم ، ويتكون من هذا النوع من الدهون.',
'يمكن أن يؤدي ارتفاع مستوى الدهون الثلاثية ، وهي نوع من الدهون (الدهون) في الدم ، إلى زيادة خطر الإصابة بأمراض القلب ، ويمكن أن يؤدي توفير مستوى مرتفع من الدهون الثلاثية ، وهي نوع من الدهون (الدهون) في الدم ، إلى زيادة خطر الإصابة بأمراض القلب. مرض.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Obtener las puntuaciones de similitud para las embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Funcionalidades

Tipo de modelo: Transformador de oraciones
Modelo base: aubmindlab/bert-base-arabertv02
Longitud máxima de secuencia: 512 tokens
Dimensionalidad de salida: 768 tokens
Función de similitud: Similitud del coseno

Casos de uso

Similitud textual semántica
Búsqueda semántica
Minería de paráfrasis
Clasificación de texto
Agrupamiento