Google научился создавать музыку из текстовых описаний с помощью ИИ

Новая разработка от Google, позволяющая с помощью искусственного интеллекта генерировать музыку по текстовому описанию, получила название MusicLM.

MusicLM был обучен на наборе данных из 280 000 часов музыкальных записей, чтобы научиться генерировать связные песни из текстовых описаний «значительной сложности». Композиции, которые представляет система получаются такими, как будто их может создать человек.

Более ранние разработки, например, Riffusion, Dance Diffusion, AudioML от Google и Jukebox от OpenAI не могли создать музыку высокого качества и со сложной структурой.

Возможности MusicLM не ограничиваются созданием коротких музыкальных композиций. Система также может создать композицию на основе уже существующих мелодий, напевания, пения, насвистывания или игре на каком-либо музыкальном инструменте. MusicLM может на основе нескольких разных текстовых описаний создать целую музыкальную историю, учитывая переходы с одного описания на другое.

Уникальность системы заключается также в возможности создания музыки с учетом многих параметров: можно комбинировать картинку и текст для описания, можно определить жанр музыки, инструмент, задать дополнительные условия и требования (например, мотивирующая музыка для тренировок).

Вместе с тем, разработку сложно назвать идеальной: сгенерировать вокал система пока может очень посредственно, а сгенерированные голоса зачастую «поют» тарабарщину.

Но Google не торопится выпускать эту систему для широкого использования. Помимо несовершенства системы более серьезным сейчас представляется юридическая сторона использования системы. Музыка, сгенерированная системой, стала результатом «обучения» на существующих композициях, защищенных авторским правом. Юристы не пришли к решению, считать ли такое обучение системы добросовестным использованием авторских материалов.