Как работает определение лицевых образов в смартфонах

Зачем мы останавливаемся на разблокировку по лицу

В последние времена распознавание лиц является одной из самых распространённых опций для деблокировки умных телефонов. Еще несколько лет тому назад большинство юзеров удовлетворялись PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением таких технологий, как admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект обуславливает эту конкретную функцию такой востребованной? Для начала, это комфортно: не нужно помнить сложные пароли или отыскивать верный палец в темноте. Во-вторых, это оперативно: современные системы идентифицируют лицо фактически за мгновение. В-третьем пункте, это впечатление будущего — словно в кинолентах про admiral x шпионов.

Впрочем за данной на первый взгляд легкостью прячется весь универсум комплексных методов и инженерных решений. Попробуем понять, как точно функционирует идентификация по лицу в актуальных мобильных телефонах, какие существуют методы, насколько они надёжны и что нас ожидает в будущем.

Краткая повествование развития техники

Распознавание лиц как технология присутствует уже более пятидесяти лет. Изначальные пробы автоматического изучения лиц были предприняты еще в 1960-х годах в научных учреждениях США. Тогда вычислительные машины могли лишь выделять очертания лица и измерять расстояния между зрачками и ртом на монохромных изображениях.

Первые коммерческие платформы возникли в девяностых годах, но они были далеки от совершенства: функционировали медленно и часто ошибались. Только с развитием искусственных сетей и таких площадок, как адмирал х, высокопроизводительных мобильных микросхем определение лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным идентификацией лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие начали внедрять личные разработки.

Основные стадии функционирования устройства определения

Процесс идентификации лица можно ориентировочно разделить на несколько ключевых этапов:

1. Обнаружение лиц — камера определяет наличие людского образа в изображении.
2. Извлечение характеристик — система анализирует черты облика: конфигурацию глаз, носа, губ, положение надбровных дуг.
3. Построение модели — создаётся особенный виртуальный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с эталоном — созданный образец сравнивается с записанной при учёте биометрической информацией владельца.
5. Принятие решения — если сходство достаточно высокое, смартфон деблокируется.

Любой из указанных шагов нуждается в особых алгоритмов и оптимизаций для оперативной работы прямо на устройстве.

Аппаратные компоненты: что скрыто в их недрах

Типичная фронтальная камера.

Самый несложный вариант распознавания лица использует лишь лицевую камеру смартфона мобильного устройства. Данный метод реализован во различных доступных версиях Android-девайсов.

Преимущества:

• Не нуждается в потребляет дополнительных датчиков.
• Оперативно работает при хорошем свете.

Слабые стороны:

• Легко ввести в заблуждение фотографией или роликом.
• Неудачно функционирует при слабом освещённости или нестандартных точках зрения.

ИК камера и пунктирный проектор

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология является основой Face ID от Apple.

Каким способом это функционирует:

• Точечный проектор проецирует на физиономию использующего невидимую структуру из тысяч инфракрасных точек (например, Face ID задействует около 30 000 пятен).
• Инфракрасная устройство фиксирует изменение формы данной решетки по плоскости лица.
• Создаётся 3D карта глубины, что почти невозможна для имитации типичной фото или маскировкой.

Преимущества

• Надёжная функционирование даже в полной темноте.
• Высокая защита к фальсификациям.
• Точность идентификации свыше 99%.

Добавочные сенсоры

В отдельных устройствах задействуются также вспомогательные датчики: ToF (Time-of-Flight), которые измеряют время движения луча до объекта и обратно; RGB-датчики глубины; специальные оптические дальномеры для создания более аккуратной 3D-модели физиономии.

Эти технологии применяются в основном во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: синтетический интеллект в действии

Текущие устройства опознания лиц невозможны без эксплуатации ИИ и машинного обучения. Именно вследствие таким разработкам, как адмирал х, устройство способно идентифицировать пользователя даже при метаморфозах внешности: новая укладка, растительность на лице, очки или макияж не становятся барьером для деблокировки.

Детектирование лица

На стартовом этапе программа необходимо мгновенно обнаружить лицо среди полного снимка с камеры. Для этого применяются последовательные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые “обучены” находить лица людей среди множества других объектов.

Пример: метод MTCNN в состоянии обнаруживать физиономию даже в случае частичном перекрытии (например, шалью или рукой).

Определение основных аспектов

После идентификации лица механизм, такая как адмирал х, вычисляет расположение основных точек: уголки глаз, кончик носа, края губ и так далее. Обычно используется от 68 до 128 главных маркеров на лице.

Это действие необходимо для стабилизации изображения: если пользователь удерживает мобильник под углом, или склонил голову, программа “выпрямляет” картинку до стандартного положения для последующего изучения.

Построение биометрического образца

Далее нейронная сеть строит компактное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 вещественных чисел.

Данный образец весьма сложно подделать: он не хранит непосредственно изображение пользователя, а лишь особенные особенности его внешности, что делает его совершенным для таких систем, как admiral-x.

Сравнительный анализ и вынесение выбора

В случае, когда человек намеревается открыть мобильник взглядом, программа воспроизводит все указанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает определённый порог (обычно выше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ блокируется.

Адаптация к метаморфозам облика

Увлекательная особенность актуальных системы — способность самообучения. Если вы постоянно доступаете к мобильное устройство с свежей укладкой или очками, система постепенно обновляет основной модель вашего облика для повышения точности работы без ухудшения безопасности.

Безопасность биометрических данных информации.

Большинство юзеры боятся хранить свои биометрические идентификационные данные на телефоне из-за риска утечки информации или взлома гаджета. Иные организации, такие как admiral-x, предлагают решения для повышения защиты сведений пользователей.

• Локальное сохранение: Преимущественно устройств записывает био-идентификационные шаблоны лишь внутри безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из устройство и закрыты в том числе изготовителю.

• Шифрование: Все сведения хранятся только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения внешних разработчиков не обладают прямого доступа к биометрическим; они могут лишь требовать факт подтверждения идентичности через системный API.

Стоит подчеркнуть важную подробность: в случае, если кто-либо достанет физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство изготовители реализуют меры безопасности от “слепого” разблокирования — в частности, требуют открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют типы идентификации лиц на изображениях?

Сегодня можно определить определить три основных способа к осуществлению этой функции:

Софтверное двухмерное распознавание

Эксплуатируется только лицевая камера без вспомогательных сенсоров дистанции. Этот подход используется обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность воплощения; минимальная стоимость; скоростная деятельность при хорошем освещении.
Минусы: несложно обмануть фотографией; нестабильная функционирование ночью; низкая охрана.

Оборудование для объёмное сканирование

Применяет инфракрасную камеру + проектор точек + датчики дистанции (Face ID у Apple; подобные решения у Huawei Mate).
Преимущества: значительная достоверность; нельзя исказить фото/видео; стабильная деятельность в любых условиях освещения.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные способы с ИИ-дополнением

Задействуют комбинацию софтверных методов + аппаратно-техническую обработку + постобработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, например адмирал х и Google Pixel Face Unlock современных версий, сочетают фронтальную камеру c ИК сенсором мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями чужих устройств.

Иллюстрации использования различных способов

• iPhone линейки X/11/12/13/14 используют только физическое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition впервые внедрил аналог Face ID в числе Android.
• Samsung Galaxy S10 модель/S20 имеют как программное обеспечение 2D идентификацию по снимку фронталкой, так и сканер глазного ириса.
• Huawei Mate20 Pro задействует набор из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Трудности безопасности и ложные тревоги

Несмотря на замечательный успехи техники за последние годы, идеальных механизмов пока не имеется:

1. Вероятность подвоха: Бюджетные мобильники просто доступны четкой изображением владельца или же видео с экрана другого устройства.
2. Идентичные близнецы: Даже самые идеальные механизмы могут спутать между монозиготными близнецами либо родичами с очень схожей внешностью.
3. Трансформации облика: Резкое снижение веса/набор веса, хирургические вмешательства либо травмы порой требуют обновления данных биометрических данных.
4. Условия записи: Интенсивная освещённость солнцем или глубокая темнота могут уменьшить верность распознавания признаков.

Здесь некоторые подсказок по безопасному эксплуатации:

• Для важных операций всегда применяйте дополнительную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Систематически обновляйте ПО мобильного устройства для предотвращения угроз от современных угроз;
• Включайте функцию “Требовать распахнутых глаз” в тех местах, где она есть.

В каких областях дополнительно используется технологии за исключением мобильных телефонов?

Хотя основная мысль данной статьи сосредоточена на именно мобильным устройствам, стоит упомянуть о прочих направлениях внедрения технологии:

• Управление доступа в деловых центрах и жилых домах;
• Платёжные аппараты банков (“Face Pay”);
• Виртуальные удостоверения личности современного образца;
• Установки видеонаблюдения городских служб;
• Механизация учёта явки школ/вузов;
• Вход юзеров персональных компьютеров/ноутбуков.

Например: В городском метро уже проверяется система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без карты или телефона! Похожие программы осуществляются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким способом меняется технический процесс сегодня?

Каждый годик проявляются современные мысли для усовершенствования стандарта деятельности систем лицевого распознавания:

1. Увеличивается чёткость датчиков — чем больше элементов фиксируется видеокамерой/глубинными сенсорами, тем меньше вероятность погрешности;
2. Развиваются нейросети — передовые архитектуры модели MobileNetV3 дают возможность быстро обучаться дополнительным особенностям внешности владельца прямо на устройстве без отправки данных в облако.
3. Улучшаются методы антиспуфинга — теперь телефоны могут распознавать подлинные живые облики от фиксированных фото/маскировок по микроскопическим микродвижениям.
4. Взаимодействие со умными устройствами — интеллектуальные часы могут автоматически закрыть доступ к мобильный телефон, если пользователь удалился на значительное расстояние.
5. Проявляются комбинированные системы — к примеру объединяющие речевую опознание + физиономию + пальцевой отпечаток.

Вот, какие направления очень актуальны на сегодняшний день:

1) Миниатюризация компонентов

Изготовители пытаются уменьшить величину выреза (“чёлки”) для сенсоры на дисплее за счёт встраивания миниатюрных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Переработка прямо на аппарате

Для улучшения приватности всё более вычислений выполняется внутри устройства без передачи информации во дополнительный облачный сервис.

3) Унификация регламентов

Гугл энергично пропагандирует норму BiometricPrompt API, для того чтобы аналогичные платформы, как admiral x, и любые Android-приложения могли взаимодействовать с всеми формами биометрии единообразно.

Что подобрать на сегодня?

Если вам всем нужна предельная безопасность данных, подбирайте флагманские аппараты со встроенным ИК-проектором или же ToF-датчиком глубины.

• iPhone всех новейших версий
• Huawei Partner/P серии
• Mi Professional
• Vivo X модели
• Oppo Найти X серий.

Если финансы скромен – лучше отдавать предпочтение классическим методам защиты (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, применять только как дополнительную возможность удобства.

Каким способом повысить практичность использования возможности?

Есть пара лайфхаков для пользователей, кто уже применяет разблокировку через лицо:

1. Часто меняйте свою фотографию-шаблон, если кардинально изменяется внешний вид.
2. Не забывайте очищать объектив фронтальной камеры – пятна могут уменьшить точность!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам включает фотоаппарат как только вы берёте его в руки.
4. При регистрации пытайтесь сохранять лицевую часть прямо впереди объектива без значительного наклона головы.
5. Используйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отворачиваетесь от экрана.

Будущее эволюции технологии

В ближайшие времена можно предполагать возникновения полностью бесконтактных способов опознания индивидуума сразу по нескольким биометрическим параметрам одновременно: облик + звучание + манера ходьбы + движения рук!

Также возможно появление новых методов охраны конфиденциальности – например, изменяющееся модификация цифрового паттерна после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее захватывающих техник нашего периода! Она обеспечивает взаимодействие со мобильным устройством удобнее чем до этого, и такие программы, как admiral-x, могут существенно улучшить ваш опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы осведомлены, как работает эта система внутри, – сумеете более осмысленно выбирать свой очередной устройство!