Как функционирует определение лиц в телефонах

Зачем мы предпочитаем разблокировку по фейсу

В недавние времена распознавание физиономий превратилось в одной из наиболее востребованных функций для открытия мобильных телефонов. Еще пару годков тому назад большинство использующих довольствовались пин-кодами, паролями или сканерами отпечатков пальцев. Но при появлением подобных технологий, как admiral x, нам вполне лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Что обуславливает данную возможность такой востребованной? Во-первых, это удобно: не нужно удерживать в памяти сложные пароли или находить нужный палец в мраке. Во-вторых, это мгновенно: современные алгоритмы узнают лицо фактически за мгновения ока. В-третью очередь, это впечатление футуризма — как будто в кинолентах про admiral x разведчиков.

Впрочем за такой на первый взгляд легкостью прячется весь мир комплексных методов и инженерных концепций. Попробуем разобраться, как точно функционирует идентификация по лицу в современных смартфонах, какие применяются методы, насколько они надёжны и что нас предстоит.

Краткая история прогресса технологии

Идентификация лиц как техника существует уже более пятидесяти годов. Первые эксперименты автоматического анализа лиц были предприняты еще в 1960-х годы в исследовательских центрах США. Тогда ЭВМ умели лишь обозначать контуры головы и определять дистанции между очами и устами на черно-белых изображениях.

Первые коммерческие установки появились в 90-х, но они были неидеальны: функционировали медленно и нередко ошибались. Только с прогрессом искусственных сетей и таких платформ, как адмирал х, сильных мобильных микросхем определение лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным идентификацией лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и прочие начали внедрять собственные решения.

Ключевые стадии действия механизма идентификации

Процесс распознавания лица можно примерно поделить на несколько ключевых этапов:

1. Обнаружение лица — устройство определяет присутствие гуманного лица в изображении.
2. Выделение характеристик — механизм исследует черты физиономии: форму зрительных органов, носа, губ, положение надбровных дуг.
3. Построение структуры — создаётся уникальный цифровой отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с эталоном — полученный образец сравнивается с записанной при регистрации биометрической сведениями владельца.
5. Принятие определения — если совпадение достаточно высокое, смартфон деблокируется.

Каждый из данных стадий запрашивает специальных алгоритмов и оптимизаций для скорой работы прямо на устройстве.

Технические элементы: что скрыто в их недрах

Обычная фронтальная камера.

Наиболее несложный метод идентификации облика применяет только фронтальную камеру мобильного устройства. Такой метод реализован во многочисленных бюджетных версиях Android-девайсов.

Сильные стороны:

• Необходимо требует дополнительные сенсоров.
• Быстро действует при хорошем освещённости.

Недостатки:

• Просто ввести в заблуждение изображением или роликом.
• Плохо работает при низком освещении или нестандартных точках зрения.

ИК камера и пунктирный проектор

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика лежит в основе Face ID от Apple.

Как это работает:

• Точечный проекционный прибор проецирует на физиономию юзера невидимую решетку из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 пятен).
• Инфракрасная устройство записывает изменение формы данной решетки по поверхности физиономии.
• Формируется 3D глубинная карта глубины, что практически неосуществима для подделки стандартной фото или маскировкой.

Преимущества

• Надёжная работа даже в полной темноте.
• Сильная сопротивляемость к подделкам.
• Точность идентификации более 99%.

Дополнительные датчики

В некоторых девайсах применяются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые определяют время прохождения света до цели и обратно; Цветные-датчики дальности; специальные световые дальномеры для построения более точной 3D-модели физиономии.

Эти инновации применяются наиболее часто во флагманских устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные алгоритмы: синтетический разум на исполнении

Текущие системы идентификации лиц невозможны в отсутствие использования искусственного интеллекта и машинного обучения. Именно вследствие таким инновациям, как адмирал х, устройство способно распознавать владельца даже при трансформациях облика: новая причёска, борода, оптика или грим не становятся помехой для разблокировки.

Детектирование лиц

В стартовом шаге алгоритм должна мгновенно распознать ликовое изображение внутри целого кадра с камеры. Для этого применяются последовательные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые “обучены” распознавать лица людей среди множества других объектов.

Пример: метод MTCNN способен обнаруживать лицо даже с неполном перекрытии (например, шарфом или ладонью).

Определение ключевых точек

После идентификации лица устройство, такая как адмирал х, определяет положение главных точек: уголки глаз, кончик носа, края губ и так далее. Обычно задействуется от 68 до 128 основных точек на лице.

Данное необходимо для стабилизации картинки: если пользователь удерживает смартфон под наклоненным, или склонил голову, программа исправляет картинку до нормального состояния для дальнейшего анализа.

Формирование биометрии модели

Далее искусственная сеть строит компактное числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след лица длиной от 128 до 512 вещественных чисел.

Этот шаблон весьма затруднительно сфальсифицировать: он не сохраняет само изображение юзера, а лишь особенные характеристики его внешности, что делает его идеальным для таких платформ, как admiral-x.

Сравнение и принятие заключения

Если человек намеревается разблокировать мобильник глазами, система воспроизводит все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный порог (обычно превышает 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ не предоставляется.

Адаптация к изменениям внешнего вида

Занимательная характеристика актуальных систем — возможность самостоятельного обучения. Если ты часто разблокируете телефон с обновленной укладкой или оптикой, алгоритм постепенно модернизирует основной шаблон вашего облика для увеличения точности действия без ухудшения безопасности.

Защита биометрических данных информации.

Многие пользователи боятся держать свои биометрические данные на мобильном устройстве из-за угрозы утечки информации или взлома устройства. Определенные компании, такие как admiral-x, предлагают решения для повышения безопасности информации юзеров.

• Локальное хранение: Основная часть аппаратов хранит биометричные образцы только внутри безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не покидают гаджет и закрыты даже создателю.

• Шифрование: Все данные хранятся только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих разработчиков не имеют непосредственного доступа к биометрическим; они могут лишь требовать факт верификации личности через системный API.

Следует подчеркнуть важную особенность: если какой-то человек получит физический доступ к вашему телефону (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство производители реализуют защиту от неосознанного разблокирования — в частности, требуют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно имеются типы определения лиц?

В настоящее время можно определить три основных подхода к осуществлению этой задачи:

Программируемое 2D распознавание

Применяется только передняя камера без экстра детекторов дистанции. Такой метод наблюдается чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность осуществления; умеренная стоимость; быстрая функционирование при хорошем свете.
Минусы: несложно ввести в заблуждение фотографией; ненадежная деятельность ночью; низкая защищенность.

Оборудование для 3D сканирование

Применяет ИК видеокамеру + проекционный модуль пикселей + датчики глубины (Face ID у Apple; подобные решения у Huawei Mate).
Достоинства: значительная надёжность; нельзя исказить фото/видео; постоянная работа в любых условиях освещения.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с интеграцией ИИ

Задействуют комбинацию программных методов + аппаратную обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например адмирал х и Google Pixel Face Unlock новейших поколений, объединяют фронталку c ИК датчиком мобильности Soli Radar для предотвращения от подделок руками/масками/видеоэкранами посторонних устройств.

Иллюстрации применения разных методов

• iPhone линейки X/11/12/13/14 используют только техническое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition впервые представил аналог Face ID в числе Android.
• Samsung Galaxy S10/S20 обеспечивают как софтверное двухмерное распознавание по фото фронталкой, так и сканер ириса глаза.
• Huawei Mate20 Pro использует систему из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и ошибочные сигналы

Несмотря на замечательный успехи технологий за недавние годы, безупречных системы пока не наблюдается:

1. Вероятность подвоха: Доступные мобильники без труда “разблокируются” четкой фотографией пользователя или же видео с дисплея иного гаджета.
2. Идентичные близняшки: Даже самые совершенные системы могут перепутать между однояйцевыми близнецами либо родичами с очень схожей внешностью.
3. Метаморфозы облика: Внезапное снижение веса/увеличение массы тела, пластические операции либо травмы в некоторых случаях необходимы для повторной регистрации биометрии.
4. Условия съёмки: Интенсивная освещённость солнечным светом либо интенсивная темнота могут снизить аккуратность распознавания признаков.

Здесь некоторые подсказок по защищённому эксплуатации:

• Для критически важных операций всегда внедряйте двухфакторную аутентификацию;
• Не запускайте функцию “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
• Постоянно обновляйте ПО телефона для обеспечения безопасности от новых видов атак;
• Включайте функцию “Требовать раскрытых глаз” везде, где она доступна.

В каких областях ещё применяется технологии помимо мобильных телефонов?

Несмотря на то, что основная мысль данной публикации касается именно смартфонам и планшетам, следует отметить прочих направлениях внедрения технологии:

• Контроль прохода в деловых центрах и многоквартирных зданиях;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Электронные удостоверения личности нового образца;
• Системы видеонаблюдения городских подразделений;
• Автоматизация учёта посещаемости школ/университетов;
• Аутентификация участников ПК/ноутбуков.

Например: В столичном метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через турникет без карты или мобильника! Схожие инициативы реализуются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким способом меняется технология в нынешнее время?

Каждый год возникают свежие идеи для усовершенствования уровня функционирования систем распознавания лиц:

1. Увеличивается детализация датчиков — чем больше деталей фиксируется фотоаппаратом/глубинными сенсорами, тем меньше риск ошибки;
2. Улучшаются нейросети — новейшие структуры типа MobileNetV3 дают возможность быстро обучаться новым чертам внешности обладателя напрямую на гаджете без пересылки информации в облачное хранилище.
3. Совершенствуются способы антиспуфинга — теперь телефоны способны распознавать подлинные живые лица от статичных снимков/масок по микроскопическим микродвижениям.
4. Синхронизация со интеллектуальными приборами — умные часы могут самостоятельно заблокировать мобильный телефон, если пользователь удалился на значительное расстояние.
5. Возникают смешанные устройства — к примеру объединяющие речевую идентификацию + облик + отпечаток пальца.

Итак, какие тренды очень востребованы в данный момент:

1) Сокращение элементов

Изготовители стараются уменьшить габариты отверстия (“чёлки”) для датчики на экране за счёт встраивания миниатюрных ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на устройстве

Для увеличения конфиденциальности всё более обработки данных происходит внутри устройства без передачи данных во сторонний облачный сервис.

3) Упорядочивание регламентов

Google интенсивно пропагандирует эталон BiometricPrompt API, для того чтобы такие платформы, как admiral x, и все Android-аппы были совместимы с любыми видами биометрии единообразно.

Какое выбрать сегодня?

В случае если тебе нужна предельная безопасность информации, выбирайте передовые устройства с вмонтированным ИК-проектором или ToF-датчиком глубины.

• iPhone каждого последних моделей
• Huawei Partner/P ряда
• Mi Expert
• Vivo X линейки
• Oppo Найти Х линейки.

Если средства ограничен – лучше выбирать обычным средствам защиты (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в admiral x, применять только как опциональную возможность комфорта.

Каким образом улучшить удобство использования опции?

Есть несколько советов для пользователей, кто уже использует разблокировку по лицу:

1. Регулярно обновляйте свою фото-шаблон, если значительно изменяется внешний вид.
2. Не забывайте протирать линзу передней камеры – загрязнения могут снизить четкость!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам запускает камеру если вы берёте его в руки.
4. При регистрационного процесса пытайтесь держать лицевую часть ровно напротив видеоустройства исключая сильного наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвернулись от дисплея.

Возможности развития технологии

В предстоящие годы можно предполагать возникновения полностью дистанционных способов опознания индивидуума сразу по нескольким биометрическим данным параметрам одновременно: лицо + речь + походка + движения рук!

Также предполагается возникновение современных методов охраны личной информации – скажем, изменяющееся изменение электронного паттерна после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из самых захватывающих технологий нашего эпохи! Она предоставляет интеракцию со мобильным устройством удобнее чем до этого, и такие программы, как admiral-x, могут в разы повысить ваш опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы осведомлены, как устроена эта технология в деталях, – сумеете более осмысленно подбирать свой очередной гаджет!