sbert-base-chinese-nli

Puedes usar este modelo para extraer incrustaciones de oraciones para la tarea de similitud de oraciones. Utilizamos la distancia coseno para calcular la similitud de las incrustaciones aquí:

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('uer/sbert-base-chinese-nli')
sentences = ['那个人很开心', '那个人非常开心']
sentence_embeddings = model.encode(sentences)
from sklearn.metrics.pairwise import paired_cosine_distances
cosine_score = 1 - paired_cosine_distances([sentence_embeddings[0]], [sentence_embeddings[1]])

El modelo está ajustado por UER-py en la nube de Tencent. Afinamos cinco épocas con una longitud de secuencia de 128 sobre la base del modelo preentrenado chinese_roberta_L-12_H-768. Al final de cada época, el modelo se guarda cuando se logra el mejor rendimiento en el conjunto de desarrollo.

python3 finetune/run_classifier_siamese.py --pretrained_model_path models/cluecorpussmall_roberta_base_seq512_model.bin-250000 \
--vocab_path models/google_zh_vocab.txt \
--config_path models/sbert/base_config.json \
--train_path datasets/ChineseTextualInference/train.tsv \
--dev_path datasets/ChineseTextualInference/dev.tsv \
--learning_rate 5e-5 --epochs_num 5 --batch_size 64

Finalmente, convertimos el modelo preentrenado al formato de Huggingface:

python3 scripts/convert_sbert_from_uer_to_huggingface.py --input_model_path models/finetuned_model.bin \ 
--output_model_path pytorch_model.bin \ 
--layers_num 12