Дата публикации: 17 июля 2020 г.

Корнелльский университет: как ИИ «видит» сквозь зеркало

Отражение в зеркале. Часы идут против часовой стрелки. Автомобили едут не по той стороне дороги. Правая рука становится левой.

Группа исследователей из Корнелльского университета (Cornell University), заинтригованная тем, как отражение меняет изображения, использовала искусственный интеллект для исследования того, что отличает оригиналы от их отражений. Разработка может помочь в определении поддельных изображений в Интернете.

Разработанный учеными алгоритм научился распознавать неожиданные подсказки, такие как части волос, направление взгляда и, как ни странно бороды -  которые имеют значение для обучения систем машинного обучения и обнаружения поддельных изображений.

«Вселенная не симметрична. Если вы перевернете изображение, есть различия », - сказал Ноа Снейвели (Noa Snavely), доцент кафедры компьютерных наук в Cornell Tech и старший автор исследования «Visual Chirality», представленного на конференции по компьютерному зрению и распознаванию образов в 2020 году, которая состоялась в июне. 

Различие между исходными изображениями и отражениями является удивительно простой задачей для Искусственного интеллекта (ИИ) - базовый алгоритм глубокого обучения может быстро научиться классифицировать, если изображение перевернуто с точностью от 60% до 90%, в зависимости от типов изображений. Многие из деталей, которые видит ИИ, сложно заметить человеку.

Исследователи разработали технологию тепловой карты, которая указывает части изображения, которые представляют интерес для алгоритма, чтобы понять, как он принимает эти решения.

Так, тепловая карта способна заметить детали одежды, например, где расположены пуговицы; на какой руке часы- алгоритм может определить много факторов, указывающих на праворукость и т.д. 

Исследователи были заинтригованы тенденцией алгоритма фокусироваться на лицах, которые не кажутся явно асимметричными. 

В ходе исследования выяснилось, что тепловая карта фиксирует части волос, глаза и бороды, это одни из ключевых факторов, на которые ИИ ориентируется.

Исследователи понятия не имеют, какую информацию алгоритм находит в бородах, но они выдвинули гипотезу, что то, как люди расчесывают или бреют свои лица, может раскрыть правша человек или левша.

«Это форма визуального открытия», - сказал Снейвли. «Если вы можете запустить машинное обучение в масштабе на миллионах и миллионах изображений, возможно, вы сможете начать открывать новые факты о мире».

Результаты показали, что каждый из этих ключей в отдельности может быть ненадежным, но алгоритм может обеспечить высокую точность путем объединения нескольких ключей. Исследователи также обнаружили, что алгоритм использует сигналы низкого уровня, вытекающие из способа обработки изображений камерами, для принятия своих решений.

Хотя необходимы дополнительные исследования, полученные результаты могут повлиять на способ обучения систем машинного обучения. Этим системам требуется огромное количество изображений, чтобы научиться классифицировать и идентифицировать изображения, поэтому ученые часто используют отражения существующих изображений, чтобы эффективно удвоить свои наборы данных.

Понимание того, как отражение меняет изображение, может также помочь ИИ идентифицировать подделанные или сфальсифицированные изображения, что является проблемой в Интернете.

«Возможно, это новый инструмент или способность проникновения в суть, которую можно использовать во вселенной криминалистической экспертизы изображений, если вы хотите сказать, реально ли что-то или нет», - сказал Снейвли.

Источник: news.cornell.edu

Гасанбекова Л. А. Оценка эффективности финансово-хозяйственной деятельности государственных унитарных предприятий Практическое пособие / Л. А. Гасанбекова, В. И. Никитина, Б. В. Сошников; под общ. науч. ред. канд. экон. наук О. А. Коробко. – М.: ФГБНУ «Аналитический центр» Минобрнауки России, 2019. – 49 с. (ISBN 978-5-904670-54-2). Доступна электронная версия печатного издания.

Вопросы контроля хозяйственной деятельности и финансового аудита, национальной безопасности, системного анализа и управления Сборник материалов III Всеросс. науч.-практ. конф., г. Москва, 29 декабря 2017. – М.: ФГБНУ «Аналитический центр» Минобрнауки России, 2018. – 200 с. (ISBN 978-5-904670-53-5). Доступна электронная версия печатного издания.

открыть полный список изданий Центра →