Nichonauta/Self-Forcing2.1-I2V-1.3B-GGUF

Nichonauta
Texto a video

Versión cuantizada en formato GGUF del modelo de generación de vídeo Self-Forcing basado en Wan2.1. Está orientado a generar vídeo a partir de texto y a animar una imagen inicial siguiendo una descripción, con menor consumo de memoria y ejecución más accesible en GPU o CPU. La técnica Self-Forcing busca mejorar la coherencia temporal y la calidad visual corrigiendo errores de generación durante el proceso.

Como usar

El repositorio indica que los archivos del modelo pueden usarse en ComfyUI con el nodo personalizado ComfyUI-GGUF. Hugging Face no proporciona todavía un snippet funcional para la librería SelfForcing:

# No code snippets available yet for this library.
# To use this model, check the repository files and the library's documentation.
# Want to help? PRs adding snippets are welcome at:
# https://github.com/huggingface/huggingface.js

Para citar los proyectos originales:

@article{wan2.1,
  title = {Wan: Open and Advanced Large-Scale Video Generative Models},
  author = {Wan Team},
  journal = {},
  year = {2025}
}

@misc{bar2024self,
  title={Self-Forcing for Real-Time Video Generation},
  author={Tal Bar and Roy Vovers and Yael Vinker and Eliahu Horwitz and Mark B. Zkharya and Yedid Hoshen},
  year={2024},
  eprint={2405.03358},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

Funcionalidades

Generación de vídeo desde texto y generación de vídeo guiada por imagen inicial.
Archivos GGUF cuantizados para reducir el uso de RAM y VRAM frente a pesos FP16 o FP32.
Inferencia en GPU o CPU mediante software compatible con GGUF y arquitecturas de difusión de vídeo.
Basado en Wan2.1-T2V-1.3B, un modelo de 1.300 millones de parámetros con arquitectura Diffusion Transformer y codificador de texto T5.
Disponible en variantes Q4_0, Q8_0 y F16, con tamaños aproximados de 1,3 GB, 2,32 GB y 4,31 GB.
Licencia cc-by-nc-sa-4.0.

Casos de uso

Crear vídeos cortos a partir de prompts de texto en flujos locales de generación audiovisual.
Animar una imagen de entrada siguiendo una descripción textual.
Ejecutar generación de vídeo en equipos con memoria limitada gracias a cuantización GGUF.
Experimentar con modelos Wan2.1 y Self-Forcing dentro de ComfyUI.