BAAI/bge-reranker-v2.5-gemma2-lightweight

BAAI

Clasificación de texto

El modelo bge-reranker-v2.5-gemma2-lightweight es un modelo multinacional, entrenado basado en gemma2-9b. Al integrar capacidades de compresión de tokens y reducción en capa, el modelo puede mantener un rendimiento sobresaliente mientras ahorra recursos significativos.

Como usar

# Uso normal del reranker (bge-reranker-base / bge-reranker-large / bge-reranker-v2-m3)

from FlagEmbedding import FlagReranker
reranker = FlagReranker('BAAI/bge-reranker-v2-m3', use_fp16=True)

score = reranker.compute_score(['query', 'passage'])
print(score)  # -5.65234375

# Puedes mapear las puntuaciones a 0-1 configurando 'normalize=True', lo que aplicará la función sigmoide.
score = reranker.compute_score(['query', 'passage'], normalize=True)
print(score)  # 0.003497010252573502

scores = reranker.compute_score([['what is panda?', 'hi'], ['what is panda?', 'The giant panda (Ailuropoda melanoleuca), sometimes called a panda bear or simply panda, is a bear species endemic to China.']])
print(scores)  # [-8.1875, 5.26171875]

# Puedes mapear las puntuaciones a 0-1 configurando 'normalize=True', lo que aplicará la función sigmoide.
scores = reranker.compute_score([['what is panda?', 'hi'], ['what is panda?', 'The giant panda (Ailuropoda melanoleuca), sometimes called a panda bear or simply panda, is a bear species endemic to China.']], normalize=True)
print(scores)  # [0.00027803096387751553, 0.9948403768236574]

# Uso de reranker basado en LLM

from FlagEmbedding import FlagLLMReranker
reranker = FlagLLMReranker('BAAI/bge-reranker-v2-gemma', use_fp16=True)

score = reranker.compute_score(['query', 'passage'])
print(score)

scores = reranker.compute_score([['what is panda?', 'hi'], ['what is panda?', 'The giant panda (Ailuropoda melanoleuca), sometimes called a panda bear or simply panda, is a bear species endemic to China.']])
print(scores)

# Uso de reranker basado en capas múltiples de LLM

from FlagEmbedding import LayerWiseFlagLLMReranker
reranker = LayerWiseFlagLLMReranker('BAAI/bge-reranker-v2-minicpm-layerwise', use_fp16=True)

score = reranker.compute_score(['query', 'passage'], cutoff_layers=[28])
print(score)

scores = reranker.compute_score([['what is panda?', 'hi'], ['what is panda?', 'The giant panda (Ailuropoda melanoleuca), sometimes called a panda bear or simply panda, is a bear species endemic to China.']], cutoff_layers=[28])
print(scores)

# Uso de reranker ligero basado en LLM

from FlagEmbedding import LightWeightFlagLLMReranker
reranker = LightWeightFlagLLMReranker('BAAI/bge-reranker-v2.5-gemma2-lightweight', use_fp16=True)

score = reranker.compute_score(['query', 'passage'], cutoff_layers=[28], compress_ratio=2, compress_layer=[24, 40])
print(score)

scores = reranker.compute_score([['what is panda?', 'hi'], ['what is panda?', 'The giant panda (Ailuropoda melanoleuca), sometimes called a panda bear or simply panda, is a bear species endemic to China.']], cutoff_layers=[28], compress_ratio=2, compress_layer=[24, 40])
print(scores)

Funcionalidades

Ligero: El modelo puede volverse ligero a través de la compresión de tokens y la reducción en capas, o una combinación de ambos.
Rendimiento sobresaliente: El modelo ha logrado nuevo rendimiento de vanguardia (SOTA) en BEIR y MIRACL.

Casos de uso

Predecir si el pasaje B contiene una respuesta a la consulta A.
Predecir si los pasajes A y B tienen el mismo significado.
Predecir si las consultas A y B están haciendo la misma pregunta.
Predecir si el argumento A y el contraargumento B expresan opiniones contradictorias.