Как работает распознавание лиц в смартфонах

Для чего мы выбираем разлочивание по лицу

В недавние годы распознавание лиц превратилось в одной из самых распространённых функций для открытия смартфонов. Всего некоторые лет назад основная часть пользователей обходились PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но с появлением подобных технологий, например admiral x, нам вполне просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Что обуславливает данную возможность такой востребованной? Во-первых, это комфортно: не нужно удерживать в памяти трудные пароли или отыскивать нужный палец в тьме. Также, это быстро: современные алгоритмы распознают лицо практически за мгновения ока. В-третьем пункте, это впечатление футуристичности — словно в фильмах про admiral x зеркало разведчиков.

Тем не менее за такой на первый взгляд несложностью скрывается весь универсум сложных технологий и инженерных разработок. Позвольте нам разобраться, как именно работает распознавание лиц в новейших мобильных телефонах, какие бывают методы, насколько они надёжны и что нас ждёт впереди.

Короткая хроника развития технологии

Распознавание лиц как техника имеется уже более 50 лет. Начальные пробы автоматизированного анализа лиц были предприняты еще в 1960-х годах в исследовательских центрах США. Тогда вычислительные машины способны были лишь определять контуры черепа и измерять дистанции между очами и устами на черно-белых снимках.

Изначальные торговые системы стали доступны в девяностых годах, но они были неидеальны: работали медленно и часто ошибались. Только с эволюцией нейронных сетей и таких площадок, как адмирал х, сильных мобильных чипов идентификация лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным идентификацией лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и другие стали внедрять собственные решения.

Основные шаги действия системы идентификации

Процесс идентификации лица можно условно поделить на несколько основных этапов:

1. Распознавание лица — камера выявляет присутствие гуманного образа в кадре.
2. Извлечение особенностей — механизм изучает особенности лица: очертания зрительных органов, носа, уст, позицию бровей.
3. Построение шаблона — создаётся уникальный виртуальный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со стандартом — полученный шаблон сверяется с записанной при учёте биометрической данными владельца.
5. Принятие решения — если соответствие достаточно значительное, смартфон деблокируется.

Всякий из данных этапов требует индивидуальных методов и улучшений для оперативной работы непосредственно на девайсе.

Аппаратные элементы: что прячется внутри

Обычная селфи камера.

Самый простой несложный метод идентификации физиономии задействует исключительно фронтальную камеру смартфона. Данный метод осуществлён во многих бюджетных моделях Android-устройств.

Плюсы:

• Не нуждается в требует дополнительные датчиков.
• Оперативно функционирует при хорошем свете.

Отрицательные стороны:

• Несложно ввести в заблуждение снимком или видеозаписью.
• Неправильно функционирует при плохом свете или нестандартных ракурсах.

Инфракрасная камера и точечный проектор

Более совершенные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта методика лежит в основе Face ID от Apple.

Каким образом это действует:

• Точечный проекционный прибор показывает на лицо использующего невидимую решетку из тысяч инфракрасных пятен (например, Face ID использует около 30 000 меток).
• ИК устройство регистрирует изменение формы этой сетки по плоскости физиономии.
• Создаётся трехмерная карта глубины, которая практически неосуществима для имитации обычной фото или маскировкой.

Достоинства

• Надёжная работа даже в полной темноте.
• Высокая сопротивляемость к фальсификациям.
• Точность распознавания свыше 99%.

Добавочные сенсорные устройства

В некоторых девайсах задействуются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые определяют время прохождения света до объекта и обратно; Цветные-датчики глубины; специальные лазерные измерители расстояния для построения более точной 3D-модели лица.

Эти разработки применяются чаще всего во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искуственный ум на действии

Нынешние механизмы опознания лиц невозможны в отсутствие применения ИИ и машинного обучения. Именно благодаря таким инновациям, как адмирал х, гаджет способно узнавать пользователя даже при изменениях облика: новая стрижка, растительность на лице, оптика или макияж не становятся препятствием для разблокировки.

Детектирование лица

При первом шаге система обязана оперативно распознать лицо среди полного кадра камеры. Для данной цели применяются многоуровневые классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые натренированы идентифицировать лиц человека среди множества других объектов.

Пример: метод MTCNN может находить физиономию даже при неполном перекрытии (например, шалью или ладонью).

Идентификация ключевых точек

После распознавания лица система, такая как адмирал х, вычисляет местоположение основных точек: кончики глаз, верхушка носа, контуры губ и так далее. Как правило используется от 68 до 128 главных меток на лицевой области.

Это действие требуется для стабилизации визуала: если юзер удерживает телефон под наклоненным, или склонил голову, программа “выпрямляет” картинку до стандартного положения для последующего изучения.

Формирование биометрического идентификатора шаблона

Далее искусственная сеть строит сжатое цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 вещественных чисел.

Этот образец крайне сложно имитировать: он не хранит само изображение юзера, а лишь особенные характеристики его внешности, что делает его идеальным для таких площадок, как admiral-x.

Сопоставление и осуществление заключения

В случае, когда человек желает открыть смартфон взглядом, система осуществляет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный уровень (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ не предоставляется.

Адаптация к трансформациям внешности

Увлекательная особенность актуальных систем — способность самообучения. Если ты регулярно открываете телефон с свежей прической или очками, программа постепенно освежает основной образец вашего внешности для повышения точности работы без снижения уровня безопасности.

Безопасность биометрических данных.

Большинство юзеры беспокоятся сохранять свои биометрические данные на телефоне из-за риска утечки информации или хакерской атаки. Некоторые фирмы, например admiral-x, предоставляют методы для повышения сохранности сведений клиентов.

• Локальное сбережение: Основная часть аппаратов сохраняет био-идентификационные модели только внутрь защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют устройство и закрыты даже изготовителю.

• Шифрование: Все сведения сберегаются только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Приложения сторонних разработчиков не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь требовать факт верификации идентичности через системный API.

Стоит отметить важную особенность: в случае, если кто-то сможет получить физический доступ к вашему телефону (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество производители осуществляют меры безопасности от неосознанного разблокирования — в частности, требуют раскрыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории идентификации лиц на изображениях?

На сегодняшний день можно определить 3 ключевых подхода к осуществлению этой функции:

Программное 2D распознавание

Эксплуатируется только лицевая камера без вспомогательных датчиков дистанции. Подобный подход наблюдается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность осуществления; умеренная стоимость; скоростная работа при достаточном освещении.
Минусы: легко обмануть снимком; ненадежная деятельность ночью; слабая защищенность.

Техническое трёхмерное оцифровка

Использует инфракрасную камеру + проекционный модуль точек + сенсоры дистанции (Face ID от Apple; подобные технологии у Huawei Mate).
Преимущества: высокая надёжность; нельзя исказить изображение/видеозапись; постоянная деятельность в любых условиях освещения.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные способы с дополнением ИИ

Задействуют комбинацию программируемых методов + техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные товары, например адмирал х и Google Pixel Face Unlock последних поколений, сочетают фронтальную камеру c ИК сенсором движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Образцы эксплуатации различных способов

• iPhone линейки X/11/12/13/14 применяют только техническое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition впервые предложил подобие Face ID в числе Android.
• Samsung Galaxy S10 версия/S20 обеспечивают как программное двухмерное идентификацию по фото фронталкой, так и сенсор ириса глаза.
• Huawei Mate20 Pro задействует комплекс из ИК-освещения + Dot Projector + ToF-сенсор

Проблемы охраны и неверные сигналы

Несмотря на поразительный успехи техники за прошедшие лет, совершенных механизмов пока не имеется:

1. Шанс обмана: Недорогие смартфоны легко “разблокируются” высококачественной изображением хозяина или видео с дисплея иного гаджета.
2. Идентичные близняшки: Даже самые идеальные устройства могут спутать между монозиготными близнецами либо семьями с очень похожей внешностью.
3. Метаморфозы облика: Резкое снижение веса/увеличение массы тела, косметические процедуры либо повреждения в некоторых случаях необходимы для обновления данных биометрических данных.
4. Условия съёмки: Сильная засветка солнечным светом либо интенсивная затенение могут понизить верность определения признаков.

Здесь несколько рекомендаций для защищённому использованию:

• Для критически важных операций всегда внедряйте двухэтапную аутентификацию;
• Не запускайте опцию “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
• Регулярно обновляйте прошивку телефона для защиты от современных угроз;
• Включайте опцию “Требовать распахнутых глаз” в тех местах, где она есть.

Где также применяется технологии кроме мобильных телефонов?

Хотя основная мысль нашей публикации посвящена именно мобильным устройствам, стоит упомянуть о прочих направлениях внедрения технологии:

• Управление прохода в деловых центрах и многоквартирных зданиях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Цифровые паспорта современного типа;
• Системы видеонаблюдения городских подразделений;
• Автоматизирование отслеживания явки школ/университетов;
• Аутентификация участников компьютеров/ноутбуков.

Например: В городском метро уже испытывается система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через турникет без карты или телефона! Похожие инициативы реализуются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким способом меняется технический процесс в наше время?

Любой годочек проявляются новые концепции для усовершенствования качества деятельности систем идентификации лиц:

1. Увеличивается чёткость сенсоров — чем больше деталей фиксируется видеокамерой/датчиками глубины, тем меньше риск неточности;
2. Развиваются нейросети — новейшие структуры типа MobileNetV3 дают возможность быстро обучаться дополнительным характеристикам вида обладателя напрямую на гаджете без отправки данных в облако.
3. Улучшаются способы антиспуфинга — теперь телефоны способны распознавать настоящие живые облики от статичных фотографий/маскировок по мельчайшим движениям кожи.
4. Взаимодействие со интеллектуальными приборами — смарт-часы могут автоматически закрыть доступ к мобильный телефон, если обладатель удалился на значительное расстояние.
5. Появляются комбинированные устройства — например совмещающие голосовую аутентификацию + облик + пальцевой отпечаток.

Вот, которые тенденции особенно популярны сейчас:

1) Уменьшение элементов

Изготовители стараются сократить величину выреза (“чёлки”) под датчики на дисплее за счёт внедрения компактных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на девайсе

Для улучшения конфиденциальности всё больше обработки данных происходит локально без пересылки данных во внешний облачный услугу.

3) Стандартизация регламентов

Google интенсивно продвигает стандарт BiometricPrompt API, чтобы такие системы, как admiral x, и все Android-программы были совместимы с различными типами биометрии унифицированно.

Что подобрать сегодня?

Если тебе важна максимальная сохранность данных, остановите выбор на топовые устройства с интегрированным ИК-излучателем или ToF-датчиком глубины.

• iPhone всех существующих актуальных поколений
• Huawei Partner/Series P ряда
• Mi Pro
• Vivo X серии
• Oppo Обнаружить Икс серий.

Если средства ограничен – лучше отдавать предпочтение традиционным методам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, задействовать только как второстепенную опцию удобства.

Как повысить удобство функционирования опции?

Есть некоторые советов для людей, кто уже пользуется разблокировку по лицу:

1. Периодически меняйте свою изображение-шаблон, если кардинально трансформируется внешность.
2. Не пренебрегайте очищать линзу передней камеры – загрязнения могут понизить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам включает фотоаппарат если вы поднимаете его.
4. Во время регистрационного процесса пытайтесь удерживать лицевую часть неподвижно перед видеоустройства не допуская резкого наклона головы.
5. Используйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отвернулись от дисплея.

Будущее развития технологии

В ближайшие периоды можно предполагать появления полностью бесконтактных способов распознавания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + голос + походка + жесты рук!

Также предполагается развитие современных методов обеспечения конфиденциальности – скажем, переменное изменение цифрового шаблона после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из очень захватывающих техник нашего времени! Она обеспечивает общение со смартфоном комфортнее чем раньше, и такие приложения, как admiral-x, могут значительно повысить ваш юзерский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как работает эта технология в деталях, – будете в состоянии осознаннее выбирать свой следующий гаджет!