Каким способом работает распознавание лиц в смартфонах

Почему мы выбираем разблокирование по фейсу

В последние годы идентификация лиц является одной из наиболее востребованных возможностей для открытия умных телефонов. Еще несколько лет ранее основная масса юзеров обходились пин-кодами, паролями или датчиками отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам достаточно просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект превращает эту возможность настолько популярной? Для начала, это удобно: не нужно запоминать трудные пароли или искать нужный палец в мраке. Во-вторых, это мгновенно: современные системы распознают лицо буквально за мгновения ока. В-третьих, это впечатление футуристичности — как будто в фильмах про адмирал х разведчиков.

Тем не менее за данной кажущейся несложностью таится целый универсум трудных технологий и инженерных разработок. Позвольте нам исследовать, как конкретно функционирует идентификация по лицу в современных гаджетах, какие бывают технологии, насколько они надёжны и что нас ожидает в будущем.

Краткая хроника прогресса техники

Распознавание лиц как методика имеется уже более пятидесяти годов. Первые попытки автоматизированного исследования лиц были сделаны еще в 1960-х годы в лабораториях США. Тогда вычислительные машины способны были лишь обозначать контуры лица и вычислять промежутки между очами и губами на монохромных изображениях.

Изначальные коммерческие платформы появились в 90-х, но они были далеки от совершенства: работали медленно и часто давали сбои. Только с развитием искусственных сетей и таких площадок, как адмирал х, мощных мобильных микросхем определение лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным распознаванием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и прочие начали внедрять собственные разработки.

Главные шаги функционирования механизма идентификации

Процесс определения лица можно ориентировочно поделить на несколько основных этапов:

Обнаружение лиц — камера распознает присутствие человеческого лица в снимке.
Выделение признаков — алгоритм анализирует контуры облика: очертания зрительных органов, обонятельного органа, уст, расположение бровей.
Построение модели — создаётся особенный виртуальный отпечаток (faceprint) на основе определённых признаков.
Сравнение с эталоном — сформированный образец сравнивается с записанной при регистрации биометрической сведениями владельца.
Принятие решения — если совпадение достаточно высокое, смартфон открывается.

Любой из этих стадий запрашивает специальных процедур и улучшений для оперативной работы прямо на устройстве.

Железные компоненты: что прячется внутри них

Обычная передняя камера.

Самый несложный метод распознавания лица применяет только лицевую камеру мобильного устройства. Подобный подход внедрён во многочисленных доступных вариантах Android-девайсов.

Плюсы:

Не нуждается в дополнительных сенсоров.
Шустро действует при качественном освещении.

Недостатки:

Несложно одурачить фотографией или видеозаписью.
Неудачно функционирует при слабом освещённости или нестандартных углах обзора.

Инфракрасная камера и точечный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс лежит в основе Face ID от Apple.

Каким образом это действует:

Точечный проекционный прибор показывает на облик использующего невидимую решетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 пятен).
ИК камера записывает искривление этой сетки по плоскости лица.
Получается трехмерная карта глубины глубины, которая практически невозможна для имитации стандартной фото или маскировкой.

Плюсы

Надёжная функционирование даже в полной неосвещённости.
Высокая устойчивость к фальсификациям.
Точность идентификации более 99%.

Дополнительные сенсоры

В отдельных аппаратах используются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют время движения света до цели и обратно; Цветные-датчики глубины; специальные лазерные измерители расстояния для построения более точной 3D-модели физиономии.

Эти разработки применяются наиболее часто во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные алгоритмы: искуственный интеллект в работе

Современные механизмы распознавания лиц невозможны при отсутствии использования artificial intelligence и machine learning. Именно из-за таким инновациям, как адмирал х, устройство в состоянии распознавать юзера даже при метаморфозах облика: новая стрижка, щетина, очки или грим не становятся препятствием для открытия.

Детектирование лиц

В первом стадии программа обязана быстро найти лицо в пределах полного снимка камеры. Для этого применяются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые « обучены » идентифицировать лиц человека среди множества других объектов.

Пример: метод MTCNN может распознавать лицо даже с частичном закрытии (например, шалью или ладонью).

Идентификация ключевых точек

После идентификации лица механизм, такая как адмирал х, определяет расположение главных точек: кончики глаз, верхушка носа, границы губ и так далее. Как правило используется от 68 до 128 основных меток на лице.

Это действие необходимо для нормализации изображения: если человек находится с мобильник под наклоном, или повернул голову, программа « выпрямляет » изображение до нормального состояния для последующего изучения.

Создание биометрического идентификатора образца

Далее нейросеть строит компактное цифровое представление (« эмбеддинг ») внешности пользователя — своеобразный цифровой « отпечаток » внешности длиной от 128 до 512 вещественных чисел.

Этот шаблон очень затруднительно подделать: он не хранит само изображение юзера, а лишь особенные характеристики его облика, что делает его совершенным для таких платформ, как admiral-x.

Сопоставление и вынесение выбора

Когда пользователь хочет разблокировать мобильник взглядом, система повторяет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает определённый порог (обычно выше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ блокируется.

Адаптация к изменениям внешнего вида

Интересная черта нынешних системы — возможность самостоятельного обучения. Если ты постоянно доступаете к мобильное устройство с обновленной стрижкой или очками, программа постепенно обновляет эталонный образец вашего лица для улучшения точности функционирования без ухудшения безопасности.

Охрана биометрических данных данных.

Многие юзеры беспокоятся хранить свои биометрические данные на телефоне из-за вероятности утечки информации или хакерской атаки. Иные компании, например admiral-x, предоставляют варианты для увеличения сохранности данных клиентов.

Локальное сбережение: Большинство девайсов записывает биометрические образцы только внутри защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из аппарат и не доступны включая производителю.
Шифрование: Все сведения сохраняются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Программы внешних девелоперов не обладают непосредственного возможности доступа к биометрическим; они могут лишь запрашивать факт подтверждения личности через системный API.

Необходимо подчеркнуть существенную особенность: если кто-то достанет физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство изготовители осуществляют защиту от автоматического разблокирования — в частности, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно имеются типы идентификации лиц?

На сегодняшний день можно выделить определить три ключевых метода к выполнению этой операции:

Программное плоское распознавание

Применяется только передняя видеокамера без дополнительных датчиков глубины. Этот способ встречается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота реализации; умеренная затраты; скоростная функционирование при качественном свете.
Минусы: несложно обмануть снимком; ненадежная работа ночью; низкая безопасность.

Оборудование для 3D сканирование

Использует инфракрасную камеру + проектор точек + сенсоры дистанции (Face ID у Apple; аналогичные технологии у Huawei Mate).
Достоинства: высокая надежность; нельзя подделать фото/видео; стабильная деятельность при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (« чёлка »)

Гибридные методы с дополнением ИИ

Применяют комбинацию программируемых методов + аппаратную обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (« anti-spoofing »). Например, такие продукты, как адмирал х и Google Pixel Face Unlock новейших поколений, сочетают фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для защиты от фальсификаций жестами/масками/видеоэкранами чужих устройств.

Примеры применения различных техник

iPhone модели X/11/12/13/14 задействуют только техническое трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition первый раз внедрил аналог Face ID в числе Android.
Samsung Galaxy S10 модель/S20 поддерживают как программное обеспечение 2D определение по снимку фронтальной камерой, так и датчик радужки глаза.
Huawei Mate20 Pro использует систему из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Проблемы безопасности и ложные срабатывания

Несмотря на замечательный прогресс инноваций за недавние годы, идеальных механизмов пока не существует:

Возможность подвоха: Доступные смартфоны без труда открываются качественной изображением владельца или же роликом с экрана другого устройства.
Идентичные близнецы: Даже самые совершенные устройства могут ошибиться между монозиготными близнецами либо родичами с очень схожей внешностью.
Трансформации внешнего вида: Стремительное снижение веса/увеличение массы тела, косметические процедуры или травмы иногда требуют обновления данных биометрических данных.
Условия съёмки: Интенсивная подсветка солнцем или же глубокая затенение могут снизить верность идентификации признаков.

Здесь несколько подсказок для безопасному эксплуатации:

Для значимых операций всегда применяйте двухфакторную аутентификацию;
Не запускайте опцию « Разблокировка по лицу » на недорогих моделях без ИК-сенсоров;
Постоянно апгрейдите ПО мобильного устройства для защиты от новых видов атак;
Включайте функцию « Требовать распахнутых глаз » везде, где она есть.

В каких местах ещё находится применение технология за исключением мобильных телефонов?

Несмотря на то, что основная мысль данной публикации сосредоточена на конкретно портативным гаджетам, следует отметить альтернативных областях использования технологии:

Мониторинг доступа в деловых центрах и многоквартирных зданиях;
Платёжные аппараты банков (« Face Pay »);
Электронные паспорта современного образца;
Системы видеонаблюдения городских сервисов;
Автоматизация регистрации присутствия образовательных учреждений/институтов;
Аутентификация юзеров ПК/ноутбуков.

Например: В московском метро уже тестируется система платежа проезда по фейсу (« Face Pay ») — нужно лишь пройти через барьер без пластика или мобильника! Аналогичные программы реализуются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как трансформируется технический процесс в нынешнее время?

Всякий год возникают свежие идеи для усовершенствования стандарта деятельности систем распознавания лиц:

Увеличивается детализация сенсоров — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше шанс ошибки;
Развиваются искусственные интеллекты — современные конструкции модели MobileNetV3 дают возможность оперативно обучаться дополнительным характеристикам вида владельца непосредственно на девайсе без пересылки информации в облачное хранилище.
Развиваются способы антиспуфинга — теперь мобильные устройства умеют отличать реальные анимированные лица от фиксированных фото/маскировок по незаметным микродвижениям.
Взаимодействие со умными устройствами — смарт-часы могут автоматически закрыть доступ к телефон, если пользователь отошёл далеко.
Появляются гибридные системы — в частности комбинирующие речевую аутентификацию + облик + отпечаток пальца.

Здесь, которые направления очень востребованы сейчас:

1) Уменьшение компонентов

Компании стараются уменьшить величину отверстия (« чёлки ») для сенсоры на дисплее за счёт встраивания миниатюрных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на девайсе

Для улучшения конфиденциальности всё больше обработки данных выполняется на месте без отправки данных во дополнительный облачный услугу.

3) Унификация норм

Google энергично пропагандирует эталон BiometricPrompt API, чтобы такие площадки, как admiral x, и каждые Android-аппы могли взаимодействовать с любыми видами биометрии унифицированно.

Какое выбрать сегодня?

Если тебе необходима максимальная сохранность данных, выбирайте топовые аппараты с вмонтированным ИК-проектором или же ToF-датчиком глубины.

iPhone всех последних поколений
Huawei Companion/P серии
Mix Professional
Vivo X серии
Oppo Find X линейки.

Если финансы невелик – лучше предпочесть обычным методам безопасности (PIN-код/сканер отпечатка), а функцию « разблокировка по лицу », такую как в admiral x, применять только как дополнительную возможность удобства.

Как увеличить практичность работы опции?

Есть пара лайфхаков для людей, кто уже применяет разблокировку по лицу:

Периодически меняйте свою фото-шаблон, если значительно трансформируется внешний вид.
Не пренебрегайте чистить линзу передней камеры – загрязнения могут снизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам запускает фотоаппарат когда вы поднимаете его.
Во время записи постарайтесь держать голову прямо перед видеоустройства не допуская значительного наклона головы.
Используйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отворачиваетесь от экрана.

Возможности эволюции техники

В предстоящие времена можно предполагать появления полностью дистанционных способов опознания персоны сразу по нескольким биометрическим параметрам одновременно: лицо + звучание + шаги + движения рук!

Также предполагается развитие свежих подходов охраны конфиденциальности – скажем, переменное модификация электронного шаблона после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее захватывающих техник нашего периода! Она предоставляет интеракцию со смартфоном удобнее чем раньше, и такие приложения, как admiral-x, могут значительно улучшить ваш опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы осведомлены, как устроена эта система изнутри, – сможете осознаннее определять свой будущий гаджет!

Laure Delafosse

Plus de publications