facebook/dinov2-giant-imagenet1k-1-layer

El Vision Transformer (ViT) es un modelo de codificador transformer (similar a BERT) preentrenado en una gran colección de imágenes de manera autogestionada. Las imágenes se presentan al modelo como una secuencia de parches de tamaño fijo, que se incrustan linealmente. También se agrega un token [CLS] al principio de una secuencia para usarlo en tareas de clasificación. Además, se agregan embeddings de posición absoluta antes de alimentar la secuencia a las capas del codificador Transformer. Cabe destacar que este modelo no incluye ninguna capa afinada. Al preentrenar el modelo, este aprende una representación interna de las imágenes que luego se puede utilizar para extraer características útiles para tareas posteriores: si tienes un conjunto de datos de imágenes etiquetadas, por ejemplo, puedes entrenar un clasificador estándar colocando una capa lineal encima del codificador preentrenado. Se coloca típicamente una capa lineal encima del token [CLS], ya que el último estado oculto de este token puede verse como una representación de una imagen completa.