Искусственный интеллект Riffusion генерирует музыку по текстовым подсказкам — NIFIGASSE

Искусственный интеллект Riffusion генерирует музыку по текстовым подсказкам

Искусственный интеллект Riffusion генерирует музыку по текстовым подсказкам
Энтузиасты Сет Форсгрен и Хайк Мартирос разработали нейросеть Riffusion, которая генерирует музыку на основе текстовых подсказок. Она обучается и накапливает информацию о музыке при помощи сонограмм – визуальной формы представления звуков. Данный формат принципиально отличается от нотной записи и позволяет визуализировать произвольные звуки в любых комбинациях.

Сонограмма является разновидностью графика, на котором по одной оси откладывается время исполнения каждого звука, а на другой его частота. Каждый пиксель имеет свой цвет, который означает амплитуду звука в каждый момент времени. Сонограммы строятся с использованием модели цифрового обучения Stable Diffusion, поэтому их легко ассоциировать с текстом. Например, задать ИИ придумать и озвучить «джаз с нотками летнего дождя».

Riffusion является своего рода экспериментом — благодаря специальному веб-приложению пользователи могут создавать произвольные мелодии и комбинации звуков. Весь процесс автоматически визуализируется, результат сохраняется в базе данных для дальнейшего обучения ИИ. Строго говоря, большинство созданных Riffusion мелодий звучат довольно странно, зато это прекрасный пример весьма перспективной технологии манипуляции звуками в реальном времени.

СонограммаСонограмма

Источник:
techcult.ru
Нет комментариев. Ваш будет первым!

Сообщество сайта

Сколько нас:

264 пользователя

Проявляют активность:

60 пользователей за последние 2 месяца

Сейчас на сайте
4 гостя
Сегодня были
11 629 гостей
Были за последние 96 часов
31 698 гостей и 4 пользователя:
Зарегистрировались за последний месяц
4 пользователя:
Рекорд посещаемости:

29 ноября 2022 сайт посетили 53378 человек, в том числе 9 пользователей и 53369 гостей

Когда вы находитесь на этом сайте, мы следим за вами. Мы не злопамятные, поэтому записываем всё в блокнотик и в файлы cookies. И вы с этим полностью согласны. Без вариантов.
3524144
1675112338