Нейросеть научилась дирижировать классической музыкой по жестам и голосу

Ученые из России и Германии создали нейросетевую систему, которая позволяет пользователю влиять на воспроизведение классических музыкальных произведений с помощью жестов, мимики и голоса.

Система учитывает не только нотную запись, но и пожелания слушателя, которые он может выражать разными способами. Таким образом, пользователь может «дирижировать» исполнением музыки и придавать ей уникальное звучание. Исследование опубликовано в научном журнале Frontiers in Artificial Intelligence.

Система состоит из двух частей: нейросети, которая воспроизводит музыку по нотам, и набора алгоритмов, которые дополняют ноты характеристиками исполнения, такими как локальный темп, позиция, длительность и громкость ноты. Эти характеристики зависят от того, как пользователь общается с системой. Он может использовать жесты, мимику, голос или текстовые инструкции, которые распознаются с помощью различных систем машинного обучения, в том числе нейросети GPT-3.

Для демонстрации работы системы ученые разработали мобильное приложение, которое позволяет дирижировать исполнением музыки в режиме реального времени.

Ученые отмечают, что их система позволяет людям, не имеющим музыкального образования, взаимодействовать с классической музыкой и получать удовольствие от ее прослушивания.