Каким образом функционирует идентификация лиц в мобильных устройствах

Для чего мы предпочитаем разблокировку по фейсу

В недавние времена идентификация физиономий превратилось в одной из наиболее востребованных функций для деблокировки мобильных телефонов. Всего некоторые годов назад большинство использующих обходились PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением подобных технологий, например admiral x, нам достаточно просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект превращает эту возможность такой востребованной? Для начала, это удобно: не нужно помнить замысловатые пароли или находить нужный палец в темноте. Во-вторых, это мгновенно: современные алгоритмы узнают лицо фактически за доли секунды. В-третьих, это чувство футуристичности — словно в кинофильмах про адмирал х агентов.

Впрочем за этой видимой легкостью скрывается полный вселенная трудных методов и инженерных решений. Попробуем разобраться, как конкретно работает распознавание лиц в современных смартфонах, какие бывают технологии, насколько они безопасны и что нас ждёт впереди.

Краткая повествование прогресса техники

Распознавание лиц как техника существует уже более пятидесяти лет. Первые пробы автоматического изучения лица были сделаны еще в 1960-х годы в научных учреждениях США. Тогда ЭВМ способны были лишь обозначать очертания лица и измерять расстояния между глазами и устами на черно-белых фотографиях.

Изначальные торговые установки стали доступны в 1990-х годах, но они были несовершенны: функционировали медленно и часто давали сбои. Только с прогрессом искусственных сетей и таких платформ, как адмирал х, сильных мобильных чипов распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным распознаванием лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать свои разработки.

Основные стадии функционирования устройства распознавания

Процесс определения лица можно условно поделить на несколько важных этапов:

Распознавание лиц — аппарат выявляет наличие человеческого лица в изображении.
Определение характеристик — система анализирует черты облика: форму глаз, носа, уст, расположение бровей.
Построение модели — создаётся уникальный цифровой отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со стандартом — полученный образец сравнивается со записанной при учёте биометрической данными владельца.
Принятие выбора — если соответствие достаточно высокое, смартфон открывается.

Каждый из этих стадий нуждается в специальных процедур и улучшений для скорой работы прямо на устройстве.

Технические составляющие: что находится в их недрах

Стандартная фронтальная камера.

Простейший легкий способ определения лица использует исключительно переднюю камеру смартфона мобильного устройства. Такой способ осуществлён во различных недорогих моделях Android-устройств.

Плюсы:

Не нуждается в нуждается в дополнительных датчиков.
Оперативно действует при качественном освещённости.

Отрицательные стороны:

Просто обмануть снимком или видеозаписью.
Плохо действует при плохом свете или необычных ракурсах.

Инфракрасная камера и пунктирный проекционный аппарат

Более продвинутые системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология является основой Face ID от Apple.

Как это функционирует:

Точечный проектор проецирует на физиономию юзера невидимую сетку из тысяч инфракрасных меток (например, Face ID применяет около 30 000 пятен).
ИК камера регистрирует изменение формы данной решетки по поверхности лица.
Формируется трехмерная карта глубины, которая почти неподвластна для имитации стандартной фото или маскировкой.

Достоинства

Надёжная деятельность даже в полной неосвещённости.
Высокая сопротивляемость к подделкам.
Точность определения выше 99%.

Дополнительные сенсоры

В отдельных аппаратах используются также экстра сенсорные устройства: ToF (Time-of-Flight), которые измеряют время распространения света до объекта и обратно; Цветные-датчики глубины; специальные лазерные измерители расстояния для создания более детализированной 3D-модели физиономии.

Эти инновации встречаются наиболее часто во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искусственный интеллект на действии

Текущие устройства идентификации лиц невозможны при отсутствии применения искусственного интеллекта и machine learning. Именно вследствие таким технологиям, как адмирал х, аппарат способно узнавать владельца даже при изменениях облика: новая укладка, борода, оптика или макияж не становятся препятствием для открытия.

Обнаружение лиц

На стартовом шаге программа обязана оперативно найти лицо в пределах полного снимка с камеры. Для этого задействуются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены распознавать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN способен обнаруживать лицо даже в случае частичном перекрытии (например, платком или ладонью).

Выделение важных аспектов

После идентификации лица механизм, такая как адмирал х, устанавливает местоположение основных точек: края глаз, верхушка носа, края губ и так далее. Как правило применяется от 68 до 128 основных меток на лицевой области.

Это действие необходимо для выравнивания визуала: если пользователь держит телефон под наклоненным, или наклонил голову, программа “выпрямляет” изображение до стандартного положения для дальнейшего анализа.

Построение биометрического шаблона

Далее искусственная сеть строит компактное числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный формат крайне затруднительно сфальсифицировать: он не хранит непосредственно картинку юзера, а лишь исключительные особенности его внешности, что делает его идеальным для таких площадок, как admiral-x.

Сравнительный анализ и вынесение выбора

Если человек хочет разлочить телефон взором, механизм осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный границу (обычно выше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ не предоставляется.

Привыкание к метаморфозам облика

Увлекательная черта актуальных систем — способность самостоятельного обучения. Если ты постоянно разблокируете смартфон с новой стрижкой или оптикой, алгоритм постепенно освежает эталонный образец вашего облика для увеличения точности действия без ухудшения безопасности.

Безопасность биометрических данных данных.

Многие пользователи беспокоятся хранить свои биометрические данные на смартфоне из-за вероятности потери данных или хакерской атаки. Некоторые организации, вроде admiral-x, предоставляют варианты для улучшения сохранности информации пользователей.

Локальное хранение: Преимущественно девайсов записывает биометрические шаблоны только в пределах защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они всегда не оставляют устройство и недоступны в том числе изготовителю.
Шифрование: Все данные хранятся только в кодированном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Приложения третьих девелоперов не обладают непосредственного возможности доступа к биометрическим; они могут лишь запрашивать факт верификации идентичности через системный API.

Следует подчеркнуть значимую подробность: в случае, если какой-то человек достанет физический доступ к вашему телефону (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие производители осуществляют меры безопасности от неосознанного разблокирования — к примеру, заставляют раскрыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют категории определения лиц?

На сегодняшний день можно выделить три ключевых подхода к выполнению этой функции:

Софтверное 2D распознавание

Эксплуатируется только передняя видеокамера без экстра датчиков дистанции. Такой метод встречается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность осуществления; умеренная цена; оперативная деятельность при достаточном освещении.
Минусы: легко одурачить снимком; неустойчивая функционирование ночью; низкая безопасность.

Аппаратное объёмное сканирование

Использует ИК видеокамеру + проекционный модуль точек + сенсоры дистанции (Face ID у Apple; аналогичные технологии у Huawei Mate).
Плюсы: большая достоверность; невозможно обмануть изображение/видеозапись; стабильная функционирование в любых условиях освещения.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с интеграцией ИИ

Применяют комбинацию программируемых методов + техническую обработку + последующую обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, как адмирал х и Google Pixel Face Unlock современных поколений, комбинируют фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Иллюстрации использования разнообразных техник

iPhone модели X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование
Xiaomi Mi8 Explorer Edition впервые внедрил подобие Face ID в числе Android.
Samsung Galaxy S10 версия/S20 имеют как программное обеспечение 2D распознавание по фото фронталкой, так и сенсор глазного ириса.
Huawei Mate20 Pro применяет набор из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Проблемы охраны и неверные срабатывания

Несмотря на впечатляющий прогресс технологий за последние лет, безупречных механизмов пока не существует:

Вероятность обмана: Бюджетные телефоны просто открываются четкой снимком владельца или роликом с дисплея иного гаджета.
Идентичные близнецы: Даже самые совершенные системы могут спутать между монозиготными близнецами либо родственниками с очень похожей внешностью.
Изменения внешнего вида: Внезапное снижение веса/увеличение массы тела, хирургические вмешательства или травмы в некоторых случаях требуют повторной регистрации биометрических данных.
Условия фотографирования: Интенсивная подсветка солнечным светом либо глубокая тень могут снизить верность идентификации признаков.

Здесь некоторые подсказок для безопасному применению:

Для критически важных операций всегда внедряйте дополнительную аутентификацию;
Не запускайте возможность “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
Систематически апгрейдите прошивку мобильного устройства для защиты от новых видов атак;
Включайте функцию “Требовать распахнутых глаз” в тех местах, где она доступна.

В каких областях ещё используется технология кроме мобильных телефонов?

Хотя тема этой статьи посвящена конкретно портативным гаджетам, стоит упомянуть о других сферах применения технологии:

Мониторинг доступа в рабочих помещениях и многоквартирных зданиях;
Платёжные устройства банков (“Face Pay”);
Цифровые паспорта современного типа;
Установки видеонаблюдения городских сервисов;
Автоматизация учёта явки образовательных учреждений/вузов;
Аутентификация участников компьютеров/ноутбуков.

Например: В столичном метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через турникет без карты или телефона! Похожие программы развиваются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как изменяется технология сегодня?

Всякий годочек появляются современные идеи для усовершенствования стандарта деятельности систем идентификации лиц:

Увеличивается разрешение сенсорных устройств — чем больше деталей фиксируется камерой/глубинными сенсорами, тем меньше вероятность погрешности;
Улучшаются нейросети — современные структуры модели MobileNetV3 обеспечивают возможность быстро обучаться дополнительным чертам облика пользователя непосредственно на девайсе без пересылки информации в облачное хранилище.
Совершенствуются способы антиспуфинга — теперь смартфоны способны различать реальные живые лица от неподвижных фотографий/масок по мельчайшим движениям кожи.
Синхронизация со умными устройствами — смарт-часы могут автоматически закрыть доступ к мобильный телефон, если обладатель ушёл далеко.
Возникают гибридные устройства — к примеру комбинирующие голосовую аутентификацию + физиономию + дактилоскопический след.

Вот, те тенденции в особенности востребованы в данный момент:

1) Миниатюризация элементов

Компании намереваются сократить размер прорези (“чёлки”) под датчики на дисплее за счёт встраивания компактных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на устройстве

Для улучшения конфиденциальности всё более расчётов осуществляется внутри устройства без пересылки информации во внешний облачный сервис.

3) Стандартизация стандартов

Гугл интенсивно пропагандирует эталон BiometricPrompt API, чтобы такие площадки, как admiral x, и каждые Android-приложения были совместимы с любыми видами биометрии единообразно.

Какое решить на сегодня?

Если тебе важна предельная сохранность информации, остановите выбор на флагманские устройства со встроенным ИК-проектором или же ToF-датчиком глубины.

iPhone всех существующих последних моделей
Huawei Partner/P Series линейки
Mix Professional
Vivo X серии
Оппо Обнаружить X серии.

Если средства скромен – лучше отдавать предпочтение обычным методам защиты (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в admiral x, использовать только как дополнительную опцию удобства.

Каким способом повысить комфорт работы опции?

Есть некоторые лайфхаков для пользователей, кто уже применяет функцию распознавания лица:

Часто обновляйте свою фотографию-шаблон, если кардинально трансформируется облик.
Не забывайте очищать объектив передней камеры – загрязнения могут уменьшить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам запускает камеру как только вы поднимаете его.
При записи старайтесь удерживать лицевую часть ровно впереди объектива исключая резкого наклона головы.
Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвели взгляд от дисплея.

Перспективы прогресса технологии

В предстоящие периоды можно ожидать развития полностью дистанционных способов идентификации персоны сразу по нескольким биометрическим данным параметрам одновременно: облик + звучание + манера ходьбы + манипуляции руками!

Также возможно возникновение свежих способов защиты конфиденциальности – скажем, переменное модификация электронного паттерна после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из самых захватывающих технологий нашего времени! Она обеспечивает интеракцию со мобильным устройством проще чем до этого, и такие программы, как admiral-x, могут значительно повысить ваш пользовательский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы понимаете, как устроена эта система в деталях, – сумеете вдумчиво выбирать свой следующий девайс!