Каким образом функционирует распознавание лиц в смартфонах

Для чего мы останавливаемся на разлочивание по фейсу

В прошлые годы определение лиц превратилось в одной из самых популярных опций для деблокировки умных телефонов. Еще пару годов назад основная часть использующих обходились PIN-кодами, паролями или датчиками отпечатков пальцев. Но с появлением таких технологий, например вулкан россия, нам достаточно лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект обуславливает эту конкретную возможность такой востребованной? Для начала, это комфортно: не нужно запоминать замысловатые пароли или искать нужный палец в мраке. Кроме того, это быстро: современные программы идентифицируют лицо фактически за мгновение. В-третью очередь, это впечатление будущего — будто в фильмах про вулкан автомат шпионов.

Тем не менее за такой кажущейся несложностью таится целый универсум трудных методов и инженерных решений. Попробуем понять, как именно работает фейсканирование в актуальных мобильных телефонах, какие применяются методы, насколько они защищены и что нас ожидает в будущем.

Короткая история эволюции техники

Идентификация лиц как методика имеется уже более 50 лет. Начальные эксперименты автоматического изучения облика были предприняты еще в 1960-х годах в лабораториях США. Тогда ЭВМ умели лишь определять очертания головы и измерять расстояния между зрачками и устами на монохромных снимках.

Начальные бизнес установки стали доступны в 1990-х годах, но они были неидеальны: работали медленно и нередко ошибались. Только с развитием нейронных сетей и таких платформ, как вулкан россии, сильных мобильных микросхем распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным сканированием лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и другие стали внедрять личные разработки.

Основные шаги действия механизма идентификации

Процесс распознавания лица можно ориентировочно поделить на несколько важных этапов:

Идентификация лиц — устройство распознает присутствие людского лица в кадре.
Определение характеристик — алгоритм изучает черты лица: очертания зрительных органов, носа, губ, позицию надбровных дуг.
Построение шаблона — создаётся особенный цифровой отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со стандартом — созданный модель сверяется с сохранённой при учёте биометрической информацией владельца.
Принятие определения — если соответствие достаточно высокое, смартфон деблокируется.

Каждый из данных стадий нуждается в особых процедур и оптимизаций для скорой работы непосредственно на девайсе.

Аппаратные составляющие: что скрыто в их недрах

Стандартная селфи камера.

Самый легкий способ идентификации облика применяет лишь фронтальную видеокамеру мобильного устройства. Такой подход осуществлён во многочисленных недорогих вариантах Android-устройств.

Достоинства:

Не нуждается в нуждается в дополнительные датчиков.
Быстро функционирует при хорошем освещённости.

Слабые стороны:

Просто одурачить фотографией или видео.
Неудачно действует при слабом свете или нестандартных точках зрения.

Инфракрасная фотокамера и точечный проектор

Более совершенные системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика является основой Face ID от Apple.

Каким способом это действует:

Точечный проектор отображает на облик пользователя невидимую структуру из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 точек).
ИК камера фиксирует искривление данной решетки по поверхности лица.
Получается 3D глубинная карта глубины, что почти невозможна для подделки типичной снимком или маской.

Выигрыши

Надёжная деятельность даже в полной темноте.
Большая защита к фальсификациям.
Точность определения более 99%.

Добавочные сенсоры

В некоторых устройствах применяются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые определяют период движения луча до цели и обратно; RGB-датчики глубины; специальные световые дальномеры для построения более аккуратной 3D-модели лица.

Эти разработки применяются чаще всего во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искуственный интеллект на работе

Текущие системы опознания физиономий невозможны без применения artificial intelligence и машинного обучения. Именно из-за таким инновациям, как вулкан россии, гаджет в состоянии идентифицировать владельца даже при трансформациях облика: новая укладка, щетина, очки или макияж не становятся помехой для деблокировки.

Детектирование лица

При первом этапе программа должна мгновенно найти лицо внутри целого кадра камеры. Для этого применяются последовательные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые натренированы идентифицировать лица людей среди множества других объектов.

Пример: метод MTCNN может распознавать физиономию даже с частичном перекрытии (например, шарфом или ладонью).

Выделение важных аспектов

После обнаружения лица устройство, такая как вулкан россии, определяет расположение главных точек: кончики глаз, верхушка носа, контуры губ и так далее. Часто используется от 68 до 128 ключевых маркеров на лицевой области.

Данное нужно для нормализации изображения: если пользователь держит смартфон под наклоненным, или склонил голову, программа исправляет изображение до обычного угла для дальнейшего анализа.

Формирование биометрии образца

Далее нейросеть строит компактное цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой след внешности длиной от 128 до 512 вещественных чисел.

Этот формат крайне трудно имитировать: он не хранит само картинку пользователя, а лишь особенные черты его облика, что делает его оптимальным для таких систем, как vulkan russia.

Сравнительный анализ и принятие заключения

В случае, когда человек желает разблокировать телефон взглядом, система осуществляет все указанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый порог (обычно больше 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ блокируется.

Адаптация к изменениям внешности

Интересная особенность нынешних системы — возможность самообучения. Если ты часто открываете мобильное устройство с свежей стрижкой или очками, система постепенно обновляет эталонный образец вашего лица для увеличения точности действия без ухудшения безопасности.

Защита биометрии данных.

Многие пользователи беспокоятся сохранять свои биометрические данные на мобильном устройстве из-за угрозы утечки данных или взлома гаджета. Некоторые организации, например vulkan russia, предлагают варианты для улучшения защиты сведений юзеров.

Локальное хранение: Основная часть девайсов хранит биометричные шаблоны только внутри защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не покидают устройство и недоступны в том числе производителю.
Шифрование: Все информация сохраняются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Приложения сторонних девелоперов не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь запрашивать факт верификации личности через системный API.

Следует упомянуть существенную особенность: в случае, если кто-то сможет получить физический доступ к вашему телефону (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество производители осуществляют защиту от неосознанного разблокирования — например, просят разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются категории идентификации лиц на изображениях?

В настоящее время можно определить три ключевых подхода к выполнению этой задачи:

Программное 2D определение

Используется только передняя камера без дополнительных сенсоров дистанции. Этот подход встречается обычно в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность воплощения; умеренная стоимость; скоростная деятельность при достаточном освещении.
Минусы: несложно одурачить снимком; ненадежная деятельность ночью; недостаточная охрана.

Оборудование для трёхмерное сканирование

Применяет инфракрасную видеокамеру + проектор точек + сенсоры дистанции (Face ID у Apple; подобные технологии у Huawei Mate).
Плюсы: значительная надёжность; не получится обмануть фото/видео; устойчивая работа при любом освещении.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Гибридные методы с дополнением ИИ

Задействуют комбинацию софтверных методов + аппаратную обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные товары, например вулкан россии и Google Pixel Face Unlock новейших поколений, комбинируют фронталку c инфракрасным сенсором мобильности Soli Radar для предотвращения от подделок жестами/масками/видеоэкранами посторонних устройств.

Примеры использования разных методов

iPhone серии X/11/12/13/14 используют только техническое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition в первый раз предложил эквивалент Face ID в ряду Android.
Samsung Galaxy S10 модель/S20 поддерживают как софтверное плоское идентификацию по снимку фронтальной камерой, так и сенсор ириса глаза.
Huawei Mate20 Pro использует систему из ИК-освещения + Dot Projector + ToF-датчик

Проблемы безопасности и ложные сигналы

Несмотря на впечатляющий успехи технологий за последние годы, безупречных систем пока не существует:

Шанс мошенничества: Недорогие телефоны без труда “разблокируются” четкой снимком хозяина либо видеозаписью с дисплея иного гаджета.
Идентичные близнецы: Даже самые идеальные механизмы могут перепутать между монозиготными близнецами либо родичами с очень аналогичной внешностью.
Изменения внешнего вида: Резкое утрата веса/набор веса, косметические процедуры либо травмы иногда требуют перерегистрации биометрических данных.
Условия съёмки: Сильная подсветка солнцем или плотная тень могут уменьшить верность определения признаков.

Здесь пара советов для защищённому применению:

Для значимых операций всегда применяйте дополнительную аутентификацию;
Не запускайте опцию “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
Постоянно апгрейдите прошивку смартфона для предотвращения угроз от новых видов атак;
Включайте опцию “Требовать распахнутых глаз” везде, где она доступна.

В каких местах ещё применяется технологии кроме смартфонов?

Пускай предмет данной публикации сосредоточена на именно мобильным устройствам, следует отметить прочих направлениях внедрения технологии:

Управление прохода в деловых центрах и жилых домах;
Платёжные аппараты финансовых учреждений (“Face Pay”);
Электронные идентификационные документы нового типа;
Системы видеомониторинга городских служб;
Автоматизация регистрации присутствия школ/университетов;
Аутентификация пользователей ПК/ноутбуков.

Например: В городском метро уже испытывается система оплаты проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без пластика или телефона! Аналогичные программы осуществляются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом трансформируется технический процесс сегодня?

Любой год появляются новые идеи для улучшения уровня работы систем лицевого распознавания:

Увеличивается детализация сенсорных устройств — чем больше информации фиксируется камерой/датчиками глубины, тем меньше вероятность погрешности;
Развиваются нейронные сети — передовые архитектуры модели MobileNetV3 дают возможность оперативно обучаться дополнительным чертам вида владельца напрямую на гаджете без отправки данных в облако.
Развиваются методы антиспуфинга — теперь смартфоны умеют отличать настоящие живые лица от статичных снимков/масок по незаметным движениям кожи.
Интеграция со интеллектуальными приборами — интеллектуальные часы могут автоматически блокировать мобильный телефон, если владелец ушёл далеко.
Возникают гибридные устройства — к примеру совмещающие голосовую идентификацию + физиономию + дактилоскопический след.

Здесь, которые направления очень востребованы в данный момент:

1) Сокращение элементов

Производители стараются минимизировать размер прорези (“чёлки”) под сенсоры на экране за счёт встраивания миниатюрных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на девайсе

Для увеличения конфиденциальности всё более обработки данных выполняется локально без передачи информации во дополнительный облачный сервис.

3) Упорядочивание норм

Google энергично пропагандирует стандарт BiometricPrompt API, для того чтобы аналогичные площадки, вроде вулкан россия, и каждые Android-аппы были совместимы с различными типами биометрии унифицированно.

Что выбрать сегодня?

Когда вам важна максимальная защита информации, выбирайте передовые устройства с интегрированным ИК-проектором либо ToF-сенсором глубины.

iPhone всех существующих актуальных поколений
Huawei Companion/P серии
Xiaomi Expert
Vivo X серии
Оппо Find X серии.

Если бюджет ограничен – лучше отдавать предпочтение традиционным способам защиты (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в вулкан россия, задействовать только как второстепенную возможность удобства.

Каким образом повысить практичность работы функции?

Есть несколько хитростей для людей, кто уже пользуется функцию распознавания лица:

Регулярно обновляйте свою фотографию-шаблон, если сильно меняется внешний вид.
Не пренебрегайте очищать линзу фронтальной камеры – пятна могут снизить точность!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам активирует камеру когда вы поднимаете его.
В процессе регистрационного процесса постарайтесь удерживать голову прямо перед объектива исключая значительного наклона головы.
Используйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвернулись от экрана.

Возможности развития инноваций

В ближайшие периоды можно предвкушать появления полностью бесконтактных способов идентификации персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + звучание + шаги + жесты рук!

Также вероятно развитие современных подходов охраны конфиденциальности – например, динамическое корректировка электронного шаблона после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из самых захватывающих техник нашего периода! Она обеспечивает интеракцию со мобильным устройством проще чем раньше, и такие приложения, как vulkan russia, могут в разы оптимизировать ваш опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы понимаете, как работает эта технология внутри, – будете в состоянии вдумчиво определять свой следующий девайс!