Каким способом функционирует распознавание лиц в смартфонах

Почему мы предпочитаем разблокирование по лицу

В последние годы определение лиц стало одной из наиболее востребованных опций для деблокировки мобильных телефонов. Еще некоторые годков назад основная масса использующих удовлетворялись пин-кодами, паролями или датчиками отпечатков пальцев. Но с появлением таких технологий, например admiral x, нам вполне просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь обуславливает эту конкретную особенность очень нужной? Во-первых, это комфортно: не нужно запоминать сложные пароли или отыскивать правильный палец в тьме. Во-вторых, это быстро: современные алгоритмы узнают лицо буквально за мгновения ока. В-третьем пункте, это впечатление футуризма — будто в кинофильмах про адмирал х официальный сайт агентов.

Впрочем за такой на первый взгляд простотой таится целый мир трудных методов и инженерных решений. Позвольте нам исследовать, как конкретно работает фейсканирование в новейших гаджетах, какие существуют технологии, насколько они защищены и что нас ждёт впереди.

Короткая повествование эволюции инноваций

Идентификация лиц как технология присутствует уже более 50 лет. Первые эксперименты автоматического анализа лиц были сделаны еще в 1960-х годы в исследовательских центрах США. Тогда ЭВМ могли лишь выделять силуэты лица и вычислять дистанции между глазами и ртом на монохромных снимках.

Начальные бизнес установки возникли в 90-х, но они были неидеальны: работали медленно и часто ошибались. Только с прогрессом нейронных сетей и таких площадок, как адмирал х, мощных мобильных микросхем идентификация лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным распознаванием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать собственные решения.

Основные шаги функционирования устройства определения

Процесс определения лица можно условно разделить на несколько ключевых этапов:

Идентификация лиц — устройство выявляет наличие человеческого образа в изображении.
Определение признаков — алгоритм изучает особенности облика: очертания глаз, носа, губ, расположение надбровных дуг.
Построение модели — создаётся уникальный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со стандартом — созданный шаблон сверяется с зафиксированной при регистрации биометрической данными владельца.
Принятие решения — если сходство достаточно значительное, смартфон открывается.

Всякий из данных этапов требует особых алгоритмов и оптимизаций для быстрой работы прямо на устройстве.

Аппаратные элементы: что прячется внутри них

Типичная фронтальная камера.

Простейший легкий вариант распознавания физиономии применяет только лицевую видеокамеру смартфона. Такой подход реализован во многочисленных недорогих вариантах Android-девайсов.

Достоинства:

Не нуждается в дополнительные сенсоров.
Оперативно функционирует при достаточном свете.

Минусы:

Легко одурачить снимком или видеозаписью.
Неправильно действует при плохом свете или необычных ракурсах.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика лежит в основе Face ID от Apple.

Каким способом это функционирует:

Точечный проекционный прибор проецирует на облик использующего невидимую решетку из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 меток).
Инфракрасная устройство фиксирует искривление этой сетки по поверхности лица.
Создаётся трёхмерная карта глубинности, что почти неосуществима для фальсификации стандартной фотографией или маской.

Плюсы

Надёжная функционирование даже в полной темноте.
Высокая сопротивляемость к подделкам.
Точность идентификации более 99%.

Добавочные сенсоры

В определённых устройствах задействуются также дополнительные сенсоры: ToF (Time-of-Flight), которые измеряют период прохождения луча до предмета и обратно; Трехцветные-датчики глубины; специальные лазерные дальномеры для построения более аккуратной 3D-модели лица.

Эти разработки применяются чаще всего во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: синтетический ум в работе

Современные системы опознания физиономий невозможны в отсутствие эксплуатации искусственного интеллекта и машинного обучения. Именно вследствие таким разработкам, как адмирал х, аппарат в состоянии узнавать пользователя даже при трансформациях облика: новая причёска, щетина, очки или макияж не становятся барьером для открытия.

Детектирование лица

На начальном этапе программа должна мгновенно обнаружить образ лица внутри целого кадра камеры. Для этого задействуются многоуровневые классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые «обучены» находить лиц человека среди множества других объектов.

Пример: процесс MTCNN может распознавать физиономию даже в случае частичном перекрытии (например, шарфом или ладонью).

Определение важных моментов

После распознавания лица устройство, такая как адмирал х, определяет положение основных точек: уголки глаз, кончик носа, границы губ и так далее. Как правило задействуется от 68 до 128 основных меток на лице.

Это необходимо для нормализации изображения: если юзер держит мобильник под наклоненным, или повернул голову, программа «выпрямляет» изображение до стандартного положения для последующего изучения.

Создание биометрического идентификатора модели

Далее нейронная сеть строит компактное математическое представление («эмбеддинг») облика пользователя — своеобразный цифровой след лица длиной от 128 до 512 вещественных чисел.

Данный шаблон крайне трудно сфальсифицировать: он не сохраняет непосредственно изображение юзера, а лишь уникальные характеристики его облика, что делает его совершенным для таких платформ, как admiral-x.

Сравнение и принятие выбора

Если юзер намеревается разлочить смартфон взором, программа осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает определённый границу (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ запрещается.

Приспособление к изменениям внешности

Интересная черта актуальных систем — способность самостоятельного обучения. Если вы постоянно открываете телефон с новой стрижкой или оптикой, алгоритм постепенно модернизирует базовый модель вашего лица для повышения точности работы без снижения уровня безопасности.

Защита биометрических данных.

Многие юзеры опасаются держать свои био-идентификационные данные на мобильном устройстве из-за риска утечки данных или взлома гаджета. Определенные фирмы, такие как admiral-x, предоставляют варианты для улучшения защиты сведений клиентов.

Локальное сбережение: Основная часть устройств сохраняет биометрические модели исключительно внутрь защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не покидают аппарат и не доступны в том числе создателю.
Шифрование: Все информация сберегаются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Программы сторонних девелоперов не имеют прямого возможности доступа к биометрическим; они могут лишь требовать факт подтверждения идентичности через системный API.

Следует подчеркнуть важную особенность: в случае, если какой-то человек сможет получить физический доступ к вашему телефону (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании осуществляют систему защиты от «слепого» разблокирования — в частности, требуют разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют типы определения лиц на изображениях?

В настоящее время можно определить различить 3 главных метода к реализации этой операции:

Программируемое 2D идентификация

Применяется только лицевая камера без дополнительных детекторов дистанции. Подобный способ используется чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность осуществления; низкая цена; оперативная деятельность при достаточном свете.
Минусы: легко ввести в заблуждение фотографией; ненадежная деятельность ночью; недостаточная безопасность.

Оборудование для объёмное оцифровка

Использует инфракрасную видеокамеру + проектор точек + сенсоры дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Преимущества: высокая достоверность; не получится исказить фото/видео; постоянная функционирование в любых условиях освещения.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана («чёлка»)

Комбинированные методы с ИИ-дополнением

Применяют комбинацию программных методов + техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам («anti-spoofing»). Например, такие продукты, например адмирал х и Google Pixel Face Unlock современных поколений, объединяют фронталку c ИК датчиком мобильности Soli Radar для предотвращения от подделок руками/масками/видеодисплеями посторонних устройств.

Образцы применения разных техник

iPhone модели X/11/12/13/14 применяют только аппаратное трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition первый раз внедрил аналог Face ID в числе Android.
Samsung Galaxy S10 модель/S20 поддерживают как софтверное двухмерное распознавание по снимку фронтальной камерой, так и датчик радужки глаза.
Huawei Mate20 Pro использует комплекс из ИК-освещения + Dot Projector + ToF-датчик

Вопросы охраны и ошибочные срабатывания

Несмотря на замечательный прогресс техники за недавние годы, безупречных механизмов пока не наблюдается:

Возможность подвоха: Бюджетные телефоны просто открываются качественной фотографией хозяина или роликом с экрана другого устройства.
Идентичные близняшки: Даже самые идеальные механизмы могут спутать между однояйцевыми близнецами либо родственниками с очень похожей внешностью.
Трансформации облика: Стремительное утрата веса/увеличение массы тела, косметические процедуры либо травмы порой требуют перерегистрации биометрии.
Условия фотографирования: Яркая освещённость солнцем либо плотная темнота могут снизить аккуратность определения признаков.

Ниже несколько советов для надёжному применению:

Для значимых операций всегда внедряйте двухфакторную аутентификацию;
Не запускайте опцию «Разблокировка по лицу» на недорогих моделях без ИК-сенсоров;
Регулярно обновляйте прошивку смартфона для обеспечения безопасности от новых видов атак;
Включайте функцию «Требовать открытых глаз» везде, где она есть.

В каких местах также используется технология помимо мобильных телефонов?

Несмотря на то, что тема данной работы сосредоточена на в частности смартфонам и планшетам, следует отметить альтернативных областях использования технологии:

Контроль входа в офисах и резиденциях;
Платёжные устройства финансовых учреждений («Face Pay»);
Цифровые идентификационные документы современного образца;
Установки видеонаблюдения городских сервисов;
Автоматизация учёта явки школ/институтов;
Вход пользователей ПК/ноутбуков.

Например: В столичном метро уже тестируется система оплаты проезда по лицу («Face Pay») — нужно лишь пройти через барьер без пластика или телефона! Аналогичные проекты развиваются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким образом изменяется технология в нынешнее время?

Любой годик возникают свежие мысли для усовершенствования стандарта работы систем идентификации лиц:

Увеличивается детализация сенсорных устройств — чем больше элементов фиксируется видеокамерой/глубинными сенсорами, тем меньше шанс ошибки;
Улучшаются нейросети — новейшие структуры типа MobileNetV3 обеспечивают возможность оперативно осваивать дополнительным чертам вида владельца прямо на устройстве без отправки данных в облако.
Развиваются способы антиспуфинга — теперь смартфоны умеют распознавать реальные живые лица от статичных снимков/маскировок по микроскопическим микродвижениям.
Синхронизация со умными устройствами — смарт-часы могут самостоятельно закрыть доступ к мобильный телефон, если обладатель удалился на значительное расстояние.
Проявляются комбинированные механизмы — например объединяющие аудио идентификацию + облик + дактилоскопический след.

Здесь, которые направления очень актуальны в данный момент:

1) Уменьшение компонентов

Изготовители намереваются уменьшить размер отверстия («чёлки») для датчики на дисплее за счёт внедрения маленьких ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработывание прямо на аппарате

Для увеличения приватности всё больше вычислений выполняется внутри устройства без передачи информации во внешний облачный услугу.

3) Стандартизация регламентов

Гугл энергично продвигает норму BiometricPrompt API, для того чтобы аналогичные платформы, вроде admiral x, и все Android-приложения могли работать с различными типами биометрии унифицированно.

Что подобрать сегодня?

Когда вам всем важна предельная защита данных, подбирайте топовые аппараты со встроенным ИК-излучателем или же ToF-датчиком глубины.

iPhone всех новейших поколений
Huawei Companion/P Series ряда
Mix Professional
Vivo X модели
Оппо Найти Икс серий.

Если бюджет ограничен – лучше предпочесть традиционным способам защиты (PIN-код/сканер пальца), а функцию «разблокировка по лицу», такую как в admiral x, использовать только как опциональную опцию удобства.

Как улучшить комфорт использования возможности?

Есть пара хитростей для тех, кто уже пользуется разблокировку через лицо:

Регулярно меняйте свою фотографию-шаблон, если сильно изменяется облик.
Не пренебрегайте очищать линзу фронтальной камеры – загрязнения могут уменьшить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам включает фотоаппарат когда вы поднимаете его.
При регистрационного процесса старайтесь удерживать лицо ровно напротив объектива без резкого наклона головы.
Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отвернулись от дисплея.

Возможности прогресса инноваций

В скоро наступающие годы можно предполагать появления полностью дистанционных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: облик + звучание + манера ходьбы + жесты рук!

Также возможно возникновение свежих подходов обеспечения личной информации – например, переменное модификация диджитал паттерна после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – единственная из очень увлекательных технологий нашего времени! Она предоставляет интеракцию со смартфоном комфортнее чем когда-либо прежде, и такие программы, как admiral-x, могут в разы оптимизировать ваш опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как работает эта система в деталях, – сможете более осмысленно определять свой будущий гаджет!