Как работает идентификация лиц в смартфонах

Для чего мы выбираем разблокирование по лицу

В последние годы распознавание лиц превратилось в одной из самых популярных функций для разблокировки смартфонов. Всего некоторые лет тому назад большинство использующих довольствовались пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением таких технологий, как admiral x, нам вполне лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект обуславливает эту функцию очень нужной? Прежде всего, это комфортно: не нужно помнить сложные пароли или находить правильный палец в темноте. Во-вторых, это быстро: современные программы узнают лицо фактически за мгновения ока. В-третьих, это ощущение футуризма — будто в кинофильмах про адмирал х агентов.

Тем не менее за этой видимой простотой прячется целый универсум сложных методов и инженерных решений. Давайте понять, как конкретно работает распознавание лиц в актуальных мобильных телефонах, какие бывают технологии, насколько они защищены и что нас ожидает в будущем.

Краткая история эволюции технологии

Распознавание лиц как методика имеется уже более пятидесяти лет. Первые попытки машинного изучения лиц были предприняты еще в 1960-х годы в научных учреждениях США. Тогда вычислительные машины умели лишь выделять контуры черепа и вычислять дистанции между очами и ртом на ахроматических фотографиях.

Начальные коммерческие платформы стали доступны в 1990-х годах, но они были неидеальны: функционировали медленно и нередко ошибались. Только с прогрессом нейронных сетей и таких площадок, как адмирал х, мощных мобильных процессоров определение лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с надёжным трёхмерным сканированием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и прочие начали интегрировать собственные разработки.

Ключевые стадии действия механизма идентификации

Процесс распознавания лица можно условно поделить на несколько основных этапов:

Распознавание лица — аппарат выявляет наличие человеческого образа в кадре.
Определение признаков — алгоритм изучает контуры физиономии: очертания зрительных органов, обонятельного органа, губ, расположение надбровных дуг.
Построение структуры — создаётся уникальный цифровой отпечаток (faceprint) на основе выделенных признаков.
Сравнение со стандартом — созданный шаблон сравнивается с зафиксированной при регистрации биометрической информацией владельца.
Принятие определения — если совпадение достаточно существенное, смартфон открывается.

Всякий из этих этапов требует индивидуальных методов и оптимизаций для быстрой работы непосредственно на девайсе.

Железные составляющие: что находится внутри них

Стандартная фронтальная камера.

Самый несложный способ идентификации физиономии использует исключительно лицевую камеру смартфона смартфона. Такой подход внедрён во различных бюджетных версиях Android-устройств.

Положительные стороны:

Не требует внешних сенсоров.
Быстро работает при качественном освещённости.

Отрицательные стороны:

Легко ввести в заблуждение фотографией или видео.
Неправильно функционирует при низком свете или необычных точках зрения.

ИК камера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология является основой Face ID от Apple.

Каким образом это действует:

Точечный проектор показывает на лицо использующего невидимую решетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 меток).
Инфракрасная камера записывает деформацию этой сетки по плоскости физиономии.
Создаётся трёхмерная карта глубинности, что практически невозможна для подделки типичной фото или маскировкой.

Преимущества

Надёжная функционирование даже в полной неосвещённости.
Большая сопротивляемость к подделкам.
Точность определения более 99%.

Дополнительные датчики

В отдельных устройствах используются также вспомогательные сенсоры: ToF (Time-of-Flight), которые измеряют время прохождения света до цели и обратно; Трехцветные-датчики дальности; специальные световые лидары для построения более аккуратной 3D-модели физиономии.

Эти инновации встречаются чаще всего во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: искуственный разум в исполнении

Нынешние устройства идентификации лиц немыслимы без применения ИИ и машинного обучения. Именно вследствие таким технологиям, как адмирал х, устройство в состоянии распознавать юзера даже при изменениях внешнего вида: новая укладка, растительность на лице, очки или макияж не становятся барьером для разблокировки.

Распознавание лица

На начальном стадии алгоритм должна мгновенно найти ликовое изображение внутри целого изображения камеры. Для данной цели задействуются последовательные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены идентифицировать лица людей среди множества других объектов.

Пример: алгоритм MTCNN может распознавать физиономию даже при частичном закрытии (например, шалью или ладонью).

Идентификация основных точек

После распознавания лица система, такая как адмирал х, вычисляет местоположение главных точек: кончики глаз, кончик носа, границы губ и так далее. Обычно применяется от 68 до 128 главных точек на лице.

Это действие необходимо для нормализации картинки: если пользователь удерживает смартфон под наклоном, или повернул голову, программа исправляет картинку до нормального состояния для дальнейшего анализа.

Формирование биометрического идентификатора шаблона

Далее нейронная сеть строит сжатое цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след лица длиной от 128 до 512 вещественных чисел.

Данный образец весьма затруднительно имитировать: он не хранит само изображение юзера, а лишь исключительные характеристики его внешности, что делает его совершенным для таких платформ, как admiral-x.

Сравнительный анализ и принятие решения

Если человек хочет разблокировать телефон взором, программа осуществляет все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый уровень (обычно превышает 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ блокируется.

Привыкание к метаморфозам внешнего вида

Увлекательная характеристика нынешних систем — возможность самообучения. Если вы регулярно открываете смартфон с обновленной стрижкой или оптикой, алгоритм постепенно модернизирует основной образец вашего внешности для увеличения точности действия без ухудшения безопасности.

Охрана биометрии информации.

Многие юзеры боятся сохранять свои био-идентификационные данные на телефоне из-за вероятности потери данных или взлома устройства. Некоторые организации, например admiral-x, предлагают варианты для увеличения защиты информации клиентов.

Локальное сохранение: Большинство аппаратов сохраняет биометрические образцы только внутри защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не оставляют устройство и не доступны даже создателю.
Шифрование: Все сведения сберегаются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Приложения сторонних девелоперов не обладают непосредственного доступа к биометрическим; они могут лишь запрашивать факт верификации идентичности через системный API.

Стоит подчеркнуть важную особенность: если кто-то сможет получить физический доступ к вашему телефону (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании внедряют защиту от “слепого” разблокирования — например, просят разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют категории распознавания лиц?

На сегодняшний день можно определить 3 ключевых метода к осуществлению этой функции:

Программное двухмерное идентификация

Используется только передняя камера без дополнительных детекторов глубины. Такой метод используется обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота реализации; умеренная стоимость; оперативная работа при достаточном свете.
Минусы: легко обмануть фотографией; ненадежная деятельность ночью; низкая защищенность.

Техническое объёмное сканирование

Использует ИК видеокамеру + проекционный модуль точек + сенсоры дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Достоинства: значительная достоверность; нельзя подделать изображение/видеозапись; стабильная работа в любых условиях освещения.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Смешанные способы с интеграцией ИИ

Применяют комбинацию софтверных методов + техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие продукты, как адмирал х и Google Pixel Face Unlock новейших версий, сочетают фронтальную камеру c ИК сенсором мобильности Soli Radar для защиты от подделок жестами/масками/видеодисплеями чужих устройств.

Примеры использования различных методов

iPhone линейки X/11/12/13/14 применяют только аппаратное трёхмерное сканирование
Xiaomi Mi8 Explorer Edition в первый раз представил подобие Face ID в числе Android.
Samsung Galaxy S10/S20 имеют как программное обеспечение плоское идентификацию по изображению фронтальной камерой, так и сенсор радужки глаза.
Huawei Mate20 Pro использует систему из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и ложные тревоги

Несмотря на впечатляющий развитие техники за прошедшие годы, совершенных механизмов пока не наблюдается:

Вероятность обмана: Доступные смартфоны просто доступны качественной фотографией хозяина или видеозаписью с экрана другого устройства.
Идентичные близняшки: Даже самые идеальные механизмы могут ошибиться между однояйцевыми близнецами либо родичами с очень аналогичной внешностью.
Метаморфозы облика: Резкое похудение/увеличение массы тела, косметические процедуры либо травмы иногда требуют перерегистрации биометрических данных.
Условия записи: Яркая освещённость солнцем или интенсивная затенение могут понизить верность идентификации признаков.

Здесь некоторые рекомендаций по защищённому применению:

Для значимых операций всегда применяйте дополнительную аутентификацию;
Не активируйте возможность “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
Систематически обновляйте прошивку телефона для обеспечения безопасности от современных угроз;
Включайте опцию “Требовать открытых глаз” в тех местах, где она имеется.

В каких областях ещё используется технология помимо смартфонов?

Пускай предмет этой работы сосредоточена на в частности портативным гаджетам, стоит упомянуть о прочих направлениях внедрения технологии:

Мониторинг входа в деловых центрах и жилых домах;
Платёжные устройства финансовых учреждений (“Face Pay”);
Электронные идентификационные документы последнего поколения;
Системы видеоконтроля городских подразделений;
Автоматизирование регистрации явки учебных заведений/университетов;
Аутентификация пользователей компьютеров/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — хватит пройти через барьер без карты или мобильника! Похожие программы реализуются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким способом изменяется технический процесс в наше время?

Каждый годочек проявляются свежие мысли для усовершенствования качества работы систем распознавания лиц:

Увеличивается чёткость сенсорных устройств — чем больше элементов фиксируется видеокамерой/датчиками глубины, тем меньше шанс погрешности;
Улучшаются искусственные интеллекты — передовые конструкции модели MobileNetV3 обеспечивают возможность быстро адаптироваться к дополнительным чертам облика пользователя напрямую на гаджете без отправки данных в облако.
Улучшаются методы антиспуфинга — теперь смартфоны умеют отличать подлинные живые лица от статичных фотографий/маскировок по микроскопическим микродвижениям.
Интеграция со интеллектуальными приборами — интеллектуальные часы могут автоматически закрыть доступ к мобильный телефон, если владелец удалился на значительное расстояние.
Проявляются гибридные механизмы — в частности комбинирующие речевую опознание + физиономию + дактилоскопический след.

Итак, какие тенденции в особенности актуальны в данный момент:

1) Уменьшение деталей

Изготовители стараются минимизировать габариты отверстия (“чёлки”) для сенсоры на экране за счёт внедрения миниатюрных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на аппарате

Для увеличения личной безопасности всё более расчётов выполняется внутри устройства без пересылки информации во внешний облачный услугу.

3) Упорядочивание норм

Гугл интенсивно пропагандирует эталон BiometricPrompt API, чтобы такие платформы, например как admiral x, и каждые Android-приложения могли работать с любыми видами биометрии единообразно.

Какое выбрать сегодня?

Если тебе нужна предельная защита данных, выбирайте флагманские аппараты с интегрированным ИК-проектором или ToF-датчиком глубины.

iPhone каждого новейших моделей
Huawei Partner/P Series линейки
Mi Expert
Vivo X линейки
Oppo Find Икс линейки.

Если бюджет ограничен – лучше отдавать предпочтение традиционным способам защиты (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в admiral x, применять только как опциональную опцию комфорта.

Каким образом улучшить комфорт работы функции?

Есть некоторые лайфхаков для людей, кто уже использует функцию распознавания лица:

Периодически обновляйте свою фото-шаблон, если сильно изменяется внешний вид.
Не упускайте из виду очищать объектив передней камеры – загрязнения могут снизить точность!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам активирует камеру если вы поднимаете его.
Во время записи постарайтесь держать голову ровно напротив объектива исключая сильного наклона головы.
Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отвернулись от экрана.

Возможности эволюции технологии

В предстоящие периоды можно ожидать развития полностью дистанционных способов распознавания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + речь + шаги + манипуляции руками!

Также возможно развитие новых способов обеспечения конфиденциальности – к примеру, изменяющееся модификация диджитал образца после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из очень захватывающих технологий нашего периода! Она предоставляет взаимодействие со телефоном удобнее чем до этого, и такие приложения, как admiral-x, могут существенно улучшить ваш опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы знаете, как работает эта система внутри, – будете в состоянии более осмысленно подбирать свой очередной устройство!