passage-ranker-v1-L-en
Este modelo es un clasificador de pasajes desarrollado por Sinequa. Produce una puntuación de relevancia dada una pareja consulta-pasaje y se utiliza para ordenar los resultados de búsqueda.
Como usar
Para usar este modelo, asegúrese de tener la versión mínima de Sinequa 11.10.0. Para usar modelos en FP16 y GPUs con capacidad de cómputo CUDA de 8.9+ (como NVIDIA L4), se requiere la versión mínima de Sinequa 11.11.0.
Requisitos:
- Versión mínima de Sinequa: 11.10.0
- Versión mínima de Sinequa para usar modelos FP16 y GPUs con capacidad de cómputo CUDA de 8.9+: 11.11.0
- Capacidad de cómputo CUDA: superior a 5.0 (superior a 6.0 para el uso de FP16)
Memoria de GPU utilizada:
- Tipo de cuantización: FP16 - 550 MiB
- Tipo de cuantización: FP32 - 1100 MiB
Tiempos de inferencia:
| GPU | Tipo de Cuantización | Tamaño del lote 1 | Tamaño del lote 32 |
| --- | ------------------ | ------------------- | ------------------- |
| NVIDIA A10 | FP16 | 2 ms | 27 ms |
| NVIDIA A10 | FP32 | 4 ms | 82 ms |
| NVIDIA T4 | FP16 | 3 ms | 63 ms |
| NVIDIA T4 | FP32 | 13 ms | 342 ms |
| NVIDIA L4 | FP16 | 2 ms | 39 ms |
| NVIDIA L4 | FP32 | 5 ms | 119 ms |
Funcionalidades
- Puntuación de relevancia (NDCG@10): 0.466
- Número de parámetros: 109 millones
- Modelo base de lenguaje: BERT-Base en inglés
- Insensible a mayúsculas y acentos
- Procedimiento de entrenamiento: MonoBERT
Casos de uso
- Clasificación de pasajes
- Ordenamiento de resultados de búsqueda
- Evaluación de la relevancia de consultas y pasajes