Google разрабатывает AI для создания музыки на основе текстового описания: MusicLM

Google представила инновационный проект MusicLM — модель искусственного интеллекта, которая создает музыку на основе текстового описания. Обученный на 280 000 часов записей, алгоритм успешно генерирует композиции в различных жанрах.

Основные возможности MusicLM

  • Комбинация разных жанров и инструментов
  • Создание музыки на основе абстрактных запросов (например, «чувство трепета и благоговения» или «космический и потусторонний» звук)
  • Генерация треков без использования наработок популярного ИИ Stable Diffusion (в отличие от Riffusion)
  • Имитация разных уровней владения музыкальным инструментом, от начинающих до профессионалов
  • Режим «истории», где можно объединить несколько разных запросов для создания «диджейских сетов»

Ограничения и проблемы MusicLM

  • Некоторые генерируемые композиции звучат странно или неадекватно интерпретируют текстовые запросы
  • Модель не будет доступна широкой аудитории из-за возможных судебных исков от правообладателей из-за схожести с реальными музыкальными произведениями

Результаты работы и планы развития

  • Аудиопримеры, созданные на основе текстовых описаний, изображений, напевов и других вводных данных, доступны на официальной странице проекта на GitHub
  • Если искусственно генерируемая музыка получит особый правовой статус, MusicLM может стать открытым проектом

Отзывы и критика

Несмотря на популярность нейросетей и ИИ в творческой сфере, некоторые знаменитости высказываются критически. Например, известный музыкант Ник Кейв осудил чат-бота ChatGPT, который создал песню «в стиле Ника Кейва». Музыкант назвал текст, созданный ИИ, «дерьмом» и «гротескной насмешкой» над творчеством.