Data-Juicer-T2V

El surgimiento de modelos generativos multimodales a gran escala ha avanzado drásticamente la inteligencia artificial, introduciendo niveles de rendimiento y funcionalidad sin precedentes. Sin embargo, optimizar estos modelos sigue siendo un desafío debido a los caminos históricamente aislados del desarrollo centrado en el modelo y centrado en los datos, lo que lleva a resultados subóptimos y una utilización ineficiente de los recursos. En respuesta, presentamos una nueva suite sandbox diseñada para el co-desarrollo integrado de datos y modelos. Esta sandbox proporciona una plataforma experimental completa, que permite una iteración rápida y el refinamiento impulsado por perspectivas tanto de datos como de modelos. Nuestro flujo de trabajo propuesto 'Sondear-Analizar-Refinar' se validó a través de aplicaciones en T2V-Turbo y logró un nuevo estado del arte en la tabla de clasificación VBench con una mejora del 1.09% desde T2V-Turbo. Nuestro código de experimento y conjunto de datos están disponibles en Data-Juicer Sandbox.