bert-base-japanese-v3-jsts

llm-book

Clasificación de texto

El modelo presentado en el capítulo 5 del libro 'Introducción a los Modelos de Lenguaje a Gran Escala' se utiliza para el cálculo de la similitud semántica. Ha sido construido afinando el modelo cl-tohoku/bert-base-japanese-v3 con el conjunto de datos JSTS de JGLUE.

Como usar

from transformers import pipeline

text_sim_pipeline = pipeline(
    model="llm-book/bert-base-japanese-v3-jsts",
    function_to_apply="none",
)
text = "川べりでサーフボードを持った人たちがいます"
sim_text = "サーファーたちが川べりに立っています"
# Calcular la similitud entre text y sim_text
result = text_sim_pipeline({"text": text, "text_pair": sim_text})
print(result["score"])
# 3.5703558921813965

Funcionalidades

Clasificación de texto
Transformadores
PyTorch
Inferencia de puntos finales

Casos de uso

Cálculo de la similitud semántica entre textos