MizoEmbed-1

sarkii

Similitud de oraciones

MizoEmbed-1 es el primer modelo de incrustaciones densas desarrollado específicamente para el idioma Mizo. Este modelo pionero proporciona representaciones vectoriales del texto en Mizo, permitiendo diversas tareas y aplicaciones de procesamiento de lenguaje natural para este idioma subrepresentado. El modelo mapea oraciones y párrafos a un espacio vectorial denso de 768 dimensiones y se puede utilizar para la similitud textual semántica, búsqueda semántica, minería de paráfrasis, clasificación de texto, agrupamiento y más.

Como usar

Primero, instale la biblioteca de Transformadores de Oraciones:
pip install -U sentence-transformers

Luego puede cargar este modelo y ejecutar la inferencia.
from sentence_transformers import SentenceTransformer

# Descargar del Hub de 🤗
model = SentenceTransformer("sarkii/MizoEmbed-1")
# Ejecutar inferencia
sentences = [
    'Mizoram a ka zin chu ka hlawkpui hle mai.',
    'Ka zinna ram Mizoram ah Reiek Tlang a awm.',
    'Inkhelh hi ka thiam vaklo mahse ka inkhel lui tho thin.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Obtener las puntuaciones de similitud para las incrustaciones
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Funcionalidades

Modelo de Transformador de Oraciones
Modelo base: robzchhangte/MizBERT
Dimensión de la incrustación: 768 tokens
Longitud del contexto de entrada: 512

Casos de uso

Similitud textual semántica
Búsqueda semántica
Minería de paráfrasis
Clasificación de texto
Agrupamiento