vision-perceiver-fourier de deepmind

El modelo Perceiver IO es un modelo de codificador transformador que puede ser aplicado a cualquier modalidad (texto, imágenes, audio, video, etc.). La idea principal es emplear el mecanismo de auto-atención en un conjunto de vectores latentes no demasiado grande (por ejemplo, 256 o 512), y solo usar las entradas para realizar atención cruzada con los latentes. Esto permite que los requisitos de tiempo y memoria del mecanismo de auto-atención no dependan del tamaño de las entradas. Para la decodificación, los autores emplean las llamadas consultas de decodificador, que permiten decodificar flexiblemente los estados finales ocultos de los latentes para producir salidas de tamaño y semántica arbitrarios. Para la clasificación de imágenes, la salida es un tensor que contiene los logits, de forma (tamaño_del_lote, num_labels). La arquitectura del Perceiver IO permite entrenar el modelo directamente en valores de píxeles sin procesar, en lugar de en parches, como se hace en ViT. Este modelo particular solo agrega incrustaciones de posición Fourier 2D fijas a los valores de píxeles. Al pre-entrenar el modelo, aprende una representación interna de las imágenes que luego puede usarse para extraer características útiles para tareas posteriores: si tienes un conjunto de datos de imágenes etiquetadas, por ejemplo, puedes entrenar un clasificador estándar reemplazando el decodificador de clasificación.