nvidia/Cosmos-1.0-Diffusion-7B-Text2World

nvidia

Texto a video

Modelo de NVIDIA Cosmos de 7B parámetros para generación de video a partir de texto. Forma parte de la suite Cosmos-1.0-Diffusion de modelos fundacionales del mundo físico y está orientado a tareas text-to-video, usando bibliotecas como Cosmos, Diffusers y NeMo. El repositorio está gated y requiere aceptar la NVIDIA Open Model License para acceder al contenido del modelo.

Como usar

Instalación y uso con Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("nvidia/Cosmos-1.0-Diffusion-7B-Text2World", dtype=torch.bfloat16, device_map="cuda")

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Para Cosmos, la página no incluye todavía snippets de código. Para NeMo, el tag no corresponde a un dominio válido de NeMo según la página.

Funcionalidades

Generación de video desde prompts de texto mediante un modelo de difusión Text2World.
Modelo multimodal de la familia NVIDIA Cosmos, asociado al paper arXiv 2501.03575 sobre World Foundation Models para Physical AI.
Distribuido en Hugging Face con soporte indicado para Cosmos, Diffusers, Safetensors y NeMo.
Licencia NVIDIA Open Model License: permite uso comercial, creación y distribución de modelos derivados, y no reclama propiedad sobre las salidas generadas.
Acceso gated automático: requiere iniciar sesión y aceptar compartir información de contacto y los términos de NVIDIA.
Etiquetado regional como Estados Unidos y publicado por NVIDIA.

Casos de uso

Crear videos o escenas visuales a partir de descripciones textuales.
Prototipar flujos de simulación visual para Physical AI y modelos del mundo.
Generar datos visuales sintéticos o clips conceptuales para investigación y experimentación.
Construir o ajustar modelos derivados basados en NVIDIA Cosmos, respetando las condiciones de redistribución y atribución.