google/vit-large-patch32-384

El Vision Transformer (ViT) es un modelo de codificador transformer (similar a BERT) preentrenado en una gran colección de imágenes de manera supervisada, a saber, ImageNet-21k, a una resolución de 224x224 píxeles. Luego, el modelo fue ajustado en ImageNet (también conocido como ILSVRC2012), un conjunto de datos que comprende 1 millón de imágenes y 1.000 clases, a una resolución más alta de 384x384. Las imágenes se presentan al modelo como una secuencia de parches de tamaño fijo (resolución 32x32), que se incrustan linealmente. También se agrega un token [CLS] al comienzo de una secuencia para usarlo en tareas de clasificación. Además, se agregan incrustaciones de posición absolutas antes de alimentar la secuencia a las capas del codificador Transformer. Al pre-entrenar el modelo, aprende una representación interna de las imágenes que luego se puede utilizar para extraer características útiles para tareas posteriores: si tiene un conjunto de datos de imágenes etiquetadas, por ejemplo, puede entrenar un clasificador estándar colocando una capa lineal sobre el codificador preentrenado. Normalmente, se coloca una capa lineal sobre el token [CLS], ya que el último estado oculto de este token puede verse como una representación de toda la imagen.