stjiris/bert-large-portuguese-cased-legal-tsdae-gpl-nli-sts-MetaKD-v1 (Legal BERTimbau)

stjiris
Similitud de oraciones

Este es un modelo de sentence-transformers: Mapea oraciones y párrafos a un espacio vectorial denso de 1024 dimensiones y se puede usar para tareas como agrupamiento o búsqueda semántica. Deriva de stjiris/bert-large-portuguese-cased-legal-tsdae (variante legal de BERTimbau large). Fue entrenado utilizando la técnica TSDAE con una tasa de aprendizaje de 1e-5, utilizando Sentencias Legales de aproximadamente 30,000 documentos con 212k pasos de entrenamiento (mejor rendimiento para nuestra implementación del sistema de búsqueda semántica). Se presentó a entrenamiento con Etiquetado Pseudo Generativo. El modelo fue presentado a datos de NLI. Tamaño de lote: 16, lr: 2e-5. Fue entrenado para Similaridad Textual Semántica, siendo sometido a una etapa de fine-tuning con los conjuntos de datos assin, assin2 y stsb_multi_mt pt. Este modelo fue sometido a Distilación de Conocimiento de Metadatos.

Como usar

Uso (Sentence-Transformers)

pip install -U sentence-transformers

from sentence_transformers import SentenceTransformer

sentences = ["Isto é um exemplo", "Isto é um outro exemplo"]

model = SentenceTransformer('stjiris/bert-large-portuguese-cased-legal-tsdae-gpl-nli-sts-MetaKD-v1')
embeddings = model.encode(sentences)
print(embeddings)

Uso (Transformadores de HuggingFace)

from transformers import AutoTokenizer, AutoModel
import torch

# Mean Pooling - Tener en cuenta la máscara de atención para un promedio correcto

def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] # El primer elemento de model_output contiene todas las incrustaciones de tokens
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# Oraciones para las que queremos obtener incrustaciones
sentences = ['This is an example sentence', 'Each sentence is converted']

# Cargar el modelo del HuggingFace Hub

tokenizer = AutoTokenizer.from_pretrained('stjiris/bert-large-portuguese-cased-legal-tsdae-gpl-nli-sts-MetaKD-v1')
model = AutoModel.from_pretrained('stjiris/bert-large-portuguese-cased-legal-tsdae-gpl-nli-sts-MetaKD-v1')

# Tokenizar oraciones
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# Calcular incrustaciones de tokens
with torch.no_grad():
    model_output = model(**encoded_input)

# Realizar pooling. En este caso, pooling medio.
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
print("Incrustaciones de oraciones:")
print(sentence_embeddings)

Funcionalidades

Modelo de transformers para oraciones y párrafos.
Espacio vectorial denso de 1024 dimensiones.
Tareas: agrupamiento, búsqueda semántica.
Entrenado con la técnica TSDAE.
Tasa de aprendizaje de 1e-5.
212,000 pasos de entrenamiento.
Presentado a datos de NLI.
Fine-tuning con assin, assin2, stsb_multi_mt pt.
Distilación de Conocimiento de Metadatos.

Casos de uso

Búsqueda semántica
Agrupamiento de textos
Sistema de búsqueda semántica
Mejora en la recuperación de información a través de vectores densos