dell-research-harvard/lt-wikidata-comp-multi

El uso de este modelo se vuelve fácil cuando tienes LinkTransformer instalado:

pip install -U linktransformer

import linktransformer as lt
import pandas as pd

# Cargue los dos dataframes que desea vincular. Por ejemplo, 2 dataframes con nombres de empresas escritos de manera diferente
df1=pd.read_csv('data/df1.csv')  # Este es el dataframe izquierdo con la clave CompanyName, por ejemplo
df2=pd.read_csv('data/df2.csv')  # Este es el dataframe derecho con la clave CompanyName, por ejemplo

# ¡Fusiona los dos dataframes en la columna clave!
df_merged = lt.merge(df1, df2, on='CompanyName', how='inner')

# ¡Listo! El dataframe fusionado tiene una columna llamada 'score' que contiene el puntaje de similitud entre los dos nombres de las empresas.

Entrenando tu propio modelo LinkTransformer:

Cualquier transformador de oraciones puede usarse como columna vertebral simplemente agregando una capa de agrupamiento. Cualquier otro transformador en HuggingFace también puede usarse especificando la opción add_pooling_layer==True. El modelo fue entrenado usando la pérdida SupCon. El uso puede encontrarse en los documentos del paquete. La configuración de entrenamiento puede encontrarse en el repositorio con el nombre LT_training_config.json.

Para replicar el entrenamiento, puedes descargar el archivo y especificar la ruta en el argumento config_path de la función de entrenamiento. También puedes sobrescribir la configuración especificando el argumento training_args. Aquí hay un ejemplo:

saved_model_path = train_model(
    model_path='hiiamsid/sentence_similarity_spanish_es',
    dataset_path=dataset_path,
    left_col_names=['description47'],
    right_col_names=['description48'],
    left_id_name=['tariffcode47'],
    right_id_name=['tariffcode48'],
    log_wandb=False,
    config_path=LINKAGE_CONFIG_PATH,
    training_args={'num_epochs': 1}
)

También puedes usar este paquete para deduplicación (agrupa un dataframe en la columna clave suministrada). Fusionar una clase fina (como producto) a una clase gruesa (como código HS) también es posible. Lee nuestro artículo y la documentación para más información!