MusicGen

MusicGen представляет собой передовое решение для простого и управляемого создания музыки . Эта одноэтапная авторегрессионная модель Transformer отличается своим подходом к обучению: в ней используется токенизатор EnCodec с частотой 32 кГц и 4 кодовые книги, дискретизация которых осуществляется с частотой 50 Гц. Ключевые особенности включают в себя:

Ключевая особенность:

• Одноэтапная авторегрессионная модель: генерирует все 4 кодовые книги за один проход для эффективного создания музыки.
• Нет требований к самоконтролируемому семантическому представлению: в отличие от существующих методов, MusicGen не требует самоконтролируемого семантического представления.
• Прогнозирование параллельной кодовой книги: вводит небольшую задержку между кодовыми книгами, позволяя выполнять параллельное прогнозирование и уменьшая количество шагов авторегрессии до 50 в секунду аудио.

Данные обучения:

• 20 тысяч часов лицензированной музыки: обучение проводилось на обширном наборе данных, включая 10 тысяч высококачественных внутренних музыкальных треков, музыкальные данные ShutterStock и Pond5.

Случаи использования:

• Эффективное создание музыки: создавайте музыку, используя всего лишь 50 авторегрессионных шагов в секунду.
• Контролируемый и предсказуемый результат: обеспечьте контроль и предсказуемость при создании музыки с помощью параллельного прогнозирования кодовой книги.
• Разнообразие музыкальных стилей: исследуйте широкий спектр музыкальных стилей, используя 20 тысяч часов лицензионных музыкальных данных.

MusicGen с его инновационным подходом к обучению и обширным набором данных обеспечивает простоту и контроль над созданием музыки. Если вы стремитесь к эффективности, предсказуемости или разнообразию музыкальных стилей, MusicGen готов изменить ваш опыт создания музыки.