CoT-MAE base uncased
CoT-MAE es una arquitectura de preentrenamiento basada en transformadores Mask Auto-Encoder diseñada para la Recuperación Densa de Pasajes. CoT-MAE base uncased es un modelo de lenguaje de pre-entrenamiento general entrenado con el corpus no supervisado MS-Marco. Los detalles se pueden encontrar en nuestro artículo y códigos. Artículo: ConTextual Mask Auto-Encoder para Recuperación Densa de Pasajes. Código: caskcsg/ir/cotmae
Como usar
Si encuentra nuestro trabajo útil, cite nuestro artículo.
@misc{https://doi.org/10.48550/arxiv.2208.07670,
doi = {10.48550/ARXIV.2208.07670},
url = {https://arxiv.org/abs/2208.07670},
author = {Wu, Xing y Ma, Guangyuan y Lin, Meng y Lin, Zijia y Wang, Zhongyuan y Hu, Songlin},
keywords = {Computación y Lenguaje (cs.CL), Inteligencia Artificial (cs.AI), FOS: Ciencias de la computación e información, FOS: Ciencias de la computación e información},
title = {ConTextual Mask Auto-Encoder para la Recuperación Densa de Pasajes},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org licencia perpetua, no exclusiva}
Funcionalidades
- Transformadores
- PyTorch
- BERT
- rellenar-máscara
- extracción de características
- inferencia de incrustaciones de texto
- Puntos de llegada de inferencia
Casos de uso
- Recuperación Densa de Pasajes
- Extracción de características de texto
- Incrustaciones de texto
- Modelos de Transformers para NLP