Дата публикации: 19 августа 2022 г.

Университет ИТМО: студент создал сервис, контролирующий эмоции музыканта

Выпускник бакалавриата факультета программной инженерии и компьютерной техники ИТМО Гарри Прошян, разработал сервис, который контролирует звучание музыкальных инструментов с помощью эмоций.

Изображение: источника.

Современные музыканты и звукорежиссеры настраивают эквализацию, применяют эффекты и обрабатывают звук, чтобы характер звучания инструмента поддерживал композицию и помогал ей быть выразительнее. Для того, чтобы облегчить подбор и редактирование звучания, Гарри Прошян создал инструмент Face Music Control. Приложение позволяет управлять звуком разных музыкальных инструментов с помощью эмоций прямо во время игры. Новый сервис автоматизирует процесс редактирования и делает звучание более близким к тому, что хотел выразить автор. По словам разработчика, при использовании Face Music Control инструмент будет как будто сопереживать музыканту, а не подчиняться командам человека.

В основе приложения лежит детектор лица, модуль предобработки, чтобы привести полученное изображение человека к формату входных данных нейронной сети, и нейронная сеть. Нейросеть умеет распознавать семь базовых состояний — злость, отвращение, счастье, грусть, страх, удивление и отсутствие эмоций. Для ее обучения использовался один из самых крупных и популярных датасетов FER2013, который содержит 35887 снимков и рисунков.

Работает Face Music Control следующим образом. Пока человек играет на музыкальном инструменте, сидя перед веб-камерой, его изображение передается детектору. Дальше он предобрабатывает его и распознает лицо. Затем нейронная сеть определяет эмоцию человека, преобразовывает результат анализа в сообщение MIDI-формата и отправляет его цифровой звуковой рабочей станции — программе для записи, редактирования и хранения цифрового звука. В результате в зависимости от эмоций изменяется и звук инструмента. Музыкант может привязать любую эмоцию к любому параметру звучания. 

Источник: news.itmo.ru

Гасанбекова Л. А. Оценка эффективности финансово-хозяйственной деятельности государственных унитарных предприятий Практическое пособие / Л. А. Гасанбекова, В. И. Никитина, Б. В. Сошников; под общ. науч. ред. канд. экон. наук О. А. Коробко. – М.: ФГБНУ «Аналитический центр» Минобрнауки России, 2019. – 49 с. (ISBN 978-5-904670-54-2). Доступна электронная версия печатного издания.

Вопросы контроля хозяйственной деятельности и финансового аудита, национальной безопасности, системного анализа и управления Сборник материалов III Всеросс. науч.-практ. конф., г. Москва, 29 декабря 2017. – М.: ФГБНУ «Аналитический центр» Минобрнауки России, 2018. – 200 с. (ISBN 978-5-904670-53-5). Доступна электронная версия печатного издания.

открыть полный список изданий Центра →