Программное обеспечение для распознавания лиц для идентификации гражданских солдат

Курт Лютер, доцент кафедры компьютерных наук штата Вирджиния, разработал бесплатную программную платформу, которая использует краудсорсинг для значительного повышения способности алгоритмов распознавать лица на фотографиях.

С помощью программной платформы Photo Sleuth Лютер пытается раскрыть тайны почти 4 миллионов фотографий изображений эпохи гражданской войны, которые могут существовать в исторических записях.

Лютер представит свое исследование, посвященное платформе Photo Sleuth, 19 марта на конференции Intelligent User Interfaces Ассоциации компьютерных машин в Лос-Анджелесе, штат Калифорния. Он также продемонстрирует Photo Sleuth на торжественном открытии расширенного Американского музея гражданской войны в Ричмонде, штат Вирджиния, 4 мая 2019 года.

Лютер, сам любитель истории, был вдохновлен на разработку программного обеспечения для Photo Sleep гражданской войны в 2013 году, когда посетил выставку Heinz History Center под названием «Гражданская война в Пенсильвании» в Питсбурге, штат Пенсильвания. Там он наткнулся на портрет эпохи гражданской войны Оливера Крокстона, его пра-пра-пра-дядю, который служил в роте E 134-й Пенсильвании, одетый в униформу капрала.

«Видеть, как мой дальний родственник смотрит на меня, было все равно что путешествовать во времени», — сказал Лютер. «Исторические фотографии могут многое рассказать нам не только о нашей собственной семейной истории, но и об исторической записи времени более широко, чем просто чтение о событии в книге по истории».

Проект «Гражданская война», финансируемый главным образом Национальным научным фондом, был официально запущен в качестве веб-платформы в Национальном архиве в Вашингтоне 1 августа 2018 года и позволяет пользователям загружать фотографии, отмечать их визуальные подсказки и соедините их с профилями солдат гражданской войны с подробными записями военной истории. Первоначальная справочная база данных Photo Sleuth содержала более 15 000 идентифицированных портретов солдат гражданской войны из общедоступных источников, таких как Военно-исторический институт США и другие частные коллекции.

Перед официальным запуском проекта в августе программная платформа выиграла конкурс Microsoft Cloud AI Research Challenge за 25 000 долларов США и лучшую демонстрационную награду на конференции Human Computing and Crowdsourcing 2018 в Цюрихе, Швейцария, для Лютера и его команды, в состав которой входят академические и исторические сотрудники. Центр изучения гражданской войны в Вирджинии и журнал Military Images.

По словам Лютера, ключом к успеху сайта после его запуска была способность создать сильное пользовательское сообщество. Более 600 пользователей предоставили более 2000 фотографий гражданской войны на сайт в первый месяц после запуска, и примерно половина из этих фотографий была неопознана. Более 100 из этих неизвестных фотографий были связаны с конкретными солдатами, и экспертный анализ показал, что более 85 процентов этих предложенных идентификаций были, вероятно, или определенно правильными. В настоящее время база данных выросла до более 4000 зарегистрированных пользователей и более 8000 фотографий.

«Как правило, краудсорсинговые исследования, такие как это, являются сложными для новичков, если пользователи не имеют определенных знаний в данной области», — сказал Лютер. «Пошаговый процесс маркировки визуальных подсказок и применения поисковых фильтров, связанных с записями военной службы, делает эту детективную работу более доступной даже для тех, кто не обладает глубокими знаниями военной истории Гражданской войны».

Задачи по идентификации личности могут быть сложными в более крупных пулах кандидатов, поскольку существует большой риск ложных срабатываний. Новый подход к «Гражданской войне», основанный на фото «Сыщик», основан на аналогии с поиском иглы в стоге сена Конвейер данных имеет три компонента, связанных со стогом сена: создание стога сена, сужение стога сена и поиск иголки в стоге сена. В сочетании они позволяют пользователям идентифицировать неизвестных солдат, одновременно снижая риск ложных срабатываний.

Построение стога сена осуществляется путем стимулирования пользователей загружать отсканированные изображения фасадов и задних сторон фотографий гражданской войны. Каждый раз, когда пользователь загружает фотографию, чтобы идентифицировать ее, фотография добавляется в цифровой архив сайта или «стог сена», делая его доступным для будущих поисков.

После загрузки пользователь помечает метаданные, относящиеся к фотографии, такие как формат фотографии или надписи, а также визуальные подсказки, такие как цвет шерсти, шевроны, погоны, знаки воротника и знаки шляпы. Эти теги связаны с поисковыми фильтрами для определения приоритетов наиболее вероятных совпадений. Например, солдат, помеченный символом шляпы «охотничий рог», мог бы предложить потенциальные совпадения, которые служили в пехоте, при этом скрывая результаты от кавалерии или артиллерии. Далее, сайт использует современную технологию распознавания лиц, чтобы исключить очень разные лица и отсортировать оставшиеся по сходству. Шаги тегов и распознавания лиц сужают стог сена.

Наконец, пользователи находят иголку в стоге сена, исследуя наиболее вероятные совпадения более подробно. Инструмент сравнения с элементами управления панорамированием и масштабированием помогает пользователям тщательно проверить возможное совпадение и, если они решат, что это совпадение, связать ранее неизвестную фотографию с ее новой идентификационной информацией и биографическими данными.

Военные записи, используемые фильтрами, взяты из бесчисленных открытых источников, включая базу данных солдат и матросов Национального парка.

Восстановление исторических фотографий Гражданской войны с помощью программного обеспечения для распознавания лиц, такого как Photo Sleuth, имеет широкие возможности, помимо идентификации исторических фотографий. У программного обеспечения есть потенциал, чтобы генерировать новые способы думать о создании систем идентификации личности, которые выходят за рамки распознавания лиц и используют взаимодополняющие силы человеческого и искусственного интеллекта.