Искусственный интеллект находит партии отдельных инструментов в звучании оркестра

Искусственный интеллект научился выделять партию одного инструмента из видеозаписи выступления небольшого оркестра.

Искусственный интеллект научился выделять партию одного инструмента из видеозаписи выступления небольшого оркестра.
Фото Global Look Press.

Новый алгоритм, основанный на нейронных сетях, анализирует видеозаписи выступлений музыкальных ансамблей и выделяет партии каждого конкретного инструмента. При этом программа обходится без помощи человека и самостоятельно познаёт основы сольфеджио, просматривая концерты на YouTube.

Даже человеку с идеальным слухом и музыкальным образованием потребуется несколько раз прослушать незнакомую композицию, чтобы выделить партию одного конкретного инструмента. Что уж говорить о любителях, которые могут часами прокручивать новые песни, чтобы подобрать аккорды. Поэтому нет ничего удивительного в том, что программисты давно работают над компьютерными системами, способными анализировать музыку и раскладывать её на составляющие.

Но новая программа от специалистов по искусственному интеллекту из Массачусетского технологического института (MIT) полагается не только на слух. Самообучающаяся нейронная сеть просматривает видеозаписи акустических выступлений музыкальных ансамблей, сопоставляет звуки с изображением инструментов и точно определяет партию каждого участника.

Системе под названием PixelPlayer не требуется предварительная помощь или настройка со стороны человека. Перед началом работы программа на протяжении шестидесяти часов самостоятельно исследует различные видео с музыкантами, запоминает внешний вид инструментов и издаваемые ими звуки.

В демонстрационном видео MIT искусственный интеллект просматривает ролики, в которых дуэты музыкантов играют различные мелодии, и выделяет звуковые волны каждого инструмента.

 

По словам авторов, в будущем подобная система поможет звукорежиссёрам улучшить качество старых записей. Например, если из-за устаревшего записывающего оборудования некоторые звуки были утеряны, нейронная сеть отыщет их и поможет произведениям зазвучать по-новому.

Кроме того, современные продюсеры смогут, получив одну запись оркестра, менять, убирать, добавлять или заменять инструменты без необходимости записывать композицию ещё один раз.

Как сообщается в пресс-релизе института, сейчас искусственный интеллект способен идентифицировать около двадцати наиболее распространённых инструментов, но после дополнительной тренировки он сможет распознать гораздо больше партий. Правда, пока компьютеру сложно различить инструменты одного класса, такие как саксофон-альт и саксофон-тенор.

Один из соавторов исследования Хан Чжао (Hang Zhao) добавляет, что технологии, использованные при создании PixelPlayer, в будущем могут пригодиться также для того, чтобы обучать роботов лучше понимать происхождение окружающих звуков, таких как крики животных или гул транспортных средств.

А с другими новостями о достижениях искусственного интеллекта в области медицины, астрономии, распознавания личности  и многих других, можно ознакомиться, полистав материалы специального раздела проекта "Вести.Наука" (nauka.vesti.ru).