kpf-sbert-v1
bongsoo
Similitud de oraciones
Este es un modelo de sentence-transformers: convierte oraciones y párrafos en un espacio vectorial denso de 768 dimensiones y puede utilizarse para tareas como la agrupación o la búsqueda semántica.
Como usar
El modelo puede usarse para medir la similitud de oraciones y realizar búsquedas semánticas. A continuación se muestran algunos parámetros y conjuntos de datos utilizados durante el entrenamiento:
## 1. STS
- 말뭉치 : korsts(5,749) + kluestsV1.1(11,668) + stsb_multi_mt(5,749) + mteb/sickr-sts(9,927) + glue stsb(5,749) (총:38,842)
- Param : lr: 1e-4, eps: 1e-6, warm_step=10%, epochs: 10, train_batch: 128, eval_batch: 64, max_token_len: 72
- 훈련코드 여기 참조
## 2. Distilación
- Modelo maestro : paraphrase-multilingual-mpnet-base-v2(max_token_len:128)
- 말뭉치 : news_talk_en_ko_train.tsv (paralelo inglés-coreano de conversación y noticias: 1.38M)
- Param: lr: 5e-5, eps: 1e-8, epochs: 10, train_batch: 128, eval/test_batch: 64, max_token_len: 128 (iguala la longitud del modelo maestro)
- 훈련코드 여기 참조
## 3. NLI
- 말뭉치: 훈련(967,852) : kornli(550,152), kluenli(24,998), glue-mnli(392,702) / 평가(3,519) : korsts(1,500), kluests(519), gluests(1,500)
- HyperParameter : lr: 3e-5, eps: 1e-8, warm_step=10%, epochs: 3, train/eval_batch: 64, max_token_len: 128
- 훈련코드 여기 참조
Funcionalidades
- Modelo basado en sentence-transformers
- Convierte oraciones y párrafos en un espacio vectorial denso de 768 dimensiones
- Entrenado utilizando conjunto de datos NLI, STS y destilación
- Parámetros de entrenamiento incluyen lr: 3e-5, eps: 1e-8, warm_step=10%, epochs: 3, train/eval_batch: 64, max_token_len: 128
Casos de uso
- Medición de la similitud de oraciones
- Búsqueda semántica
- Agrupación de texto
- Aplicaciones en análisis de texto multilingüe