liuyanyi/bge-m3-hf

from transformers import AutoModel, AutoTokenizer

# Se requiere confiar en el código remoto para cargar el modelo
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True)

input_str = "Hello, world!"
input_ids = tokenizer(input_str, return_tensors="pt", padding=True, truncation=True)

output = model(**input_ids, return_dict=True)

dense_output = output.dense_output # Para alinear con el proyecto Flag Embedding, se requiere una normalización
colbert_output = output.colbert_output # Para alinear con el proyecto Flag Embedding, se requiere una normalización
sparse_output = output.sparse_output