Изследователи от университета в Пекин, университета Цинхуа и Alibaba имат SparkDiffusion с отворен код, рамка за ускоряване на видео модели на дифузионен трансформатор, която е насочена към Wan 2.1 и Wan 2.2 на Alibaba. В тестовете на екипа, генерирането на 81-кадър, приблизително пет секунди 720P видео с Wan2.1-T2V-14B падна от 4769 секунди на 18 секунди на един RTX 5090, 265-кратно ускорение от край до край над 50-стъпкова плътна базова линия с напътствия без класификатор. При H100 същата работа спадна от 1757 секунди на 8 секунди, или 220 пъти по-бързо.
Работата започва от това, което авторите наричат капан с висока разреденост. Натискането на рядкост на вниманието от 90% на 97% оставя само 3% от блоковете на вниманието и на това ниво загубите при обучение продължават да спадат, докато видеоклиповете показват нарушена структура, движещи се фонове и нестабилно движение. По-дългото обучение, около 30 000 обучителни видеоклипа и по-големите компенсационни клонове не го поправиха. Размяната на плътните прогнози на учителя само за петте стъпки на вземане на проби с най-висок шум премахна по-голямата част от крайната грешка, сочейки към ранните, структурообразуващи стъпки.
Следователно SparkDiffusion първо адаптира разредения модел в груб предварителен, след което коригира окончателното разпределение на изхода на три етапа. Кратко загряване адаптира модела към 97% рядкост, използвайки RoLA, модул за внимание, който съчетава блоково разреден клон с линеен клон от нисък ранг, за да запази глобалния контекст. След това CrossDistill създава ученик от три стъпки, който не се нуждае от насоки без класификатор, използвайки една стъпка за последователност при висок шум и две стъпки за съпоставяне на разпределението при нисък шум; при 97% рядкост той отбеляза 83,15 на VBench и 58,05 на VBench-2.0, над двата метода самостоятелно. И накрая, линейните проекции се квантуват до FP8 със слети ядра, така че теоретичните спестявания се показват като реално забавяне на GPU.
Други докладвани резултати включват спад на Wan2.1-T2V-1.3B при 480P от 182 секунди на 1,3 секунди на RTX 5090 и Wan2.2-T2V-A14B при 720P, преминаващ от 4545 секунди на 25,1 секунди, 181-кратно увеличение. Кодът е в GitHub под AlibabaResearch с лиценз Apache 2.0, а контролните точки за текст към видео и изображение към видео при 480P и 720P бяха пуснати на Hugging Face на 25 септември.
Екипът планира да разшири подхода към омнимодално генериране с по-висока разделителна способност, авторегресивно видео и световни модели, където по-дългите последователности правят ранните структурни грешки по-скъпи.
ВИЖТЕ СЪЩО: Alibaba разкрива Wan2.7 видео · Kling AI визуализира Kling 4.0 · Видео модел Happy Horse 1.0 на Alibaba
Source link