Разработка приложения для определения и идентификации лиц на фотографии на языке Python

Введение 3
Определение хода выполнения работы и выделение подзадач 4
1. Теоретические аспекты определения и идентификации лиц на фотографии 7
1.1. Метод Виолы-Джонса 7
1.2. Метод Направленных Градиентов 10
1.3. Сущность и виды нейронные сети 12
2. Практические основы разработки приложения для определения и идентификации лиц на фотографии 39
2.1. Выбор обучающих данных 39
2.2. Выбор фреймворков tensorflow и theano 40
2.3. Выбор методов для обучения нейронной сети 42
2.4. Загрузка данных для обучения 44
2.5. Построение графика и функции ошибки FAR (False Acceptance Rate) и FRR (False Rejection Rate) идентификации 46
2.6. Архитектура сверточной нейронной сети inception-resnet 50
2.7. Настройка функции потерь на основе триплетов 52
2.8. Процесс обучения и тестирования приложения 53
Заключение 58
Список литературы 59
Приложение 1. Файл подготовки и обработки данных. 60
Приложение 2. Программная реализация методов обработки изображений с помощью dlib 65
Приложение 3. Программная реализация архитектуры нейронной сети для классификатора 67
Приложение 4. Программная реализация нейронной сети для триплетов 71
Приложение 5. Обучение нейронной сети, как классификатора на закрытом множестве 72
Приложение 6. Дообучение нейронной сети триплетами 73
Приложение 7. Подсчет метрики для измерения качества прогноза нейронной сети 75
Приложение 8. Тестирование обученной сети 76
Приложение 9. Извлечение признаков объектов из предпоследнего слоя классификатора 77
Приложение 10. Программная реализация API 78

Весь текст будет доступен после покупки

Существует множество задач, которые связаны с нахождением неявных характеристик у наблюдаемого объекта, на основании которых можно сделать некоторые выводы относительно его. В работе с изображениями одной из самых популярных считается задача идентификация человека по его фотографии, то есть выявление характеристик, с помощью которых, с определённой долей вероятности, можно будет сделать вывод о том, какому человеку принадлежит изображение на фотографии. Она возникает во многих сферах деятельности человека: от социальных сетей, где необходимо определить и отметить всех знакомых и друзей, кто изображен на фото, до обнаружения опасных субъектов в видеопотоке с камер уличного наблюдения и мест большого скопления людей. Ее суть заключается в том, чтобы, имея некоторую базу с именами людей и их изображениями, определить кто именно из базы является владельцем нового изображения или же такого человека вообще нет в базе. Данная задача предполагает обработку большого потока информации и не имеет однозначного решения, так как не ясно какие черты человека необходимо выделить, а какие не очень и важны при анализе схожести одного человека с другим. Таким образом, автоматизация процесса идентификации субъекта по его изображению является не совсем тривиальной задачей. Для её решения необходим инструмент, способный выделять признаки в исходном изображении, желательно численно интерпретируемые. Лидирующим инструментом в сфере выявления различных факторов и признаков на изображениях и не только являются нейронные сети. Методы с использованием нейросетевых технологий достигают в задах идентификации человека огромных успехов. Однако вычислительная сложность из-за огромных размеров обучающих выборок, на которых натренированы нейронные сети, или очень сложной архитектуры зачастую не позволяют самостоятельно реализовать поставленную задачу. Существуют готовые решения с уже натренированными нейронными сетями для идентификации человека, реализованные в виде различных библиотек.

Весь текст будет доступен после покупки

1. Теоретические аспекты определения и идентификации лиц на фотографии

1.1. Метод Виолы-Джонса
Метод Виолы-Джонса позволяет находить лица на обрабатываемом изображении. Он был предложен в начале 2000-х годов Паулем Виолой и Майклом Джонсом. Алгоритм способен находить на изображении объекты разных классов, хотя основной целью его разработки было именно нахождение лиц. Он относится к методам машинного обучения, а значит перед применением
нуждается в тренировке. Сам процесс обучения проходит долго, однако находит лица обученный детектор очень быстро. К его плюсам можно отнести низкий процент ложных срабатываний и угол, под которым из изображения безошибочно извлекаются лица.
Метод базируется на 3 основных принципах и приемах:

- принцип скользящего окна

- интегральное представление изображения

- признаки Хаара
Принцип скользящего окна и интегральное представление изображения Формально задача обнаружения признаков, характерных для черт лица и
самого лица в целом на изображении выглядит следующим образом:
Пускай мы имеем фотографию, на которой изображены различные объекты, в том числе и те, которые нас интересуют(лица). Она представляет собой матрицу c параметрами w*h, для черно-белого изображения и тензор w*h*3 для цветного изображения. Каждый элемент матрицы или тензора представляет собой значение от 0 до 255, означающее интенсивность черного цвета для черно- белой картинки или интенсивность одного из цветов палитры RGB для цветного изображения. Алгоритм в ходе своей работы определяет черты лица, лица целиком, отмечает их. Поиск осуществляется с помощью признаков Хаары, о которых будет рассказано в следующем пункте. Сами признаки представляют собой прямоугольники, которые имеют следующие параметры:
?????????? = {??, ??, ??, ?, ??}, где ??, ?? ? координаты центра ?? ? го прямоугольника
??, ? ? ширина и высота прямоугольника,
а ? угол наклона прямоугольника к вертикальной оси изображения
К изображению применяется подход, который носит название – «метод скользящего окна»: сканируется изображение окном поиска (так называемое, окно сканирования), а затем применяется классификатор к каждому положению. В ходе обучения алгоритм сам выбирает какие признаки важны. Он не нуждается в помощи со стороны человека, что делает данный подход эффективным. Принцип скользящего окна может применяться и в других задачах выделения признаков человека, таких как определение эмоций по соответствующим этим эмоциям мимике.
Для работы с изображениями в методе Виолы-Джонса необходимо преобразовать данные в их интегральные представления. С их помощь можно быстро рассчитывать суммарную яркость произвольного прямоугольника на данном изображении. Интегральное представление изображения - это матрица, совпадающая по размерам с исходным изображением. В каждом элементе ее хранится сумма интенсивностей всех пикселей, находящихся левее и выше данного элемента. Элементы матрицы рассчитываются по следующей формуле:

?????,?????
??(??, ??) = ? ??(??, ??)
??=0,??=0


(1)


где: ??(??, ??) ? яркость пикселя исходного изображения

Каждый элемент матрицы L(x,y) представляет собой сумму пикселей в прямоугольнике от (0,0) до (x,y), т.е. значение каждого пикселя (x,y) равно сумме значений всех пикселов левее и выше данного пикселя (x,y). Расчет матрицы L(x,y) можно осуществить по след формуле:
??(??, ??) = ??(??, ??) ? ??(?? ? 1, ?? ? 1) + ??(??, ?? ? 1) + ??(?? ? 1, ??) (2)

Благодаря формуле можно высчитать сумму значений пикселей в прямоугольнике любого размера.

Признаком принято считать отображение f: X > Df, где Df — множество допустимых значений признака. Если заданы признаки f1, … , fn то вектор x = (f1(x), … , fn(x)) называют признаковым описанием объекта x ? X. Допустимо
считать, что признаковые объекты равны самими объектами. При этом множество X = Df1 ? … ? Dfn называют признаковым пространством [1]. Признаки делятся на следующие типы в зависимости от множества Df : бинарный признак, номинальный признак, порядковый признак, количественный признак. В оригинальном методе Виолы – Джонса используются прямоугольные признаки, изображенные на рисунке ниже, они называются примитивами Хаара:

Рис 1 - Карты признаков Хаара
Значение признака равняется разности суммы пикселей в белом и в черном прямоугольниках. Они вычисляются с помощью понятия интегрального изображения, которое описано выше.
В итоге, используя некоторые технические и вышеописанные приемы, в методе Виолы-Джонса признаки группируются по стадиям. Первые стадии содержат малое количество признаков, в последующих стадиях их количество увеличивается. Область, которая прошла все стадии, является лицом.



1.2. Метод Направленных Градиентов

Гистограмма направленных градиентов (англ. Histogram of Oriented Gradients, HOG) – это методика, используемая в компьютерном зрении и обработке изображений в целях распознавания объектов. Данный подход основан на подсчете направлений градиента яркости (интенсивности) в локальных областях изображения и базируется на том факте, что распределение градиентов яркости на каком-либо участке изображения дает представление о внешнем виде и форме объекта, расположенного на этом участке (даже без учета точного расположения этих направлений). Суть метода состоит в том, что изображение плотной равномерной сеткой разбивается на области, для каждой из которых строится локальная гистограмма направлений градиентов яркости. Для обеспечения инвариантности по отношению к освещению гистограммы подвергаются нормализации по контрасту с мерой яркости, вычисленной по большему фрагменту. Совокупность построенных нормализованных гистограмм будет являться дескриптором объекта. Такие дескрипторы инвариантны к освещению, геометрическим и фотометрическим преобразованиям (за исключением ориентации самого объекта). Последним этапом в распознавании является классификация дескрипторов при помощи обучения с учителем [1]. Общий принцип работы изображен на Рис.2.

Весь текст будет доступен после покупки

1) D. G. Lowe. Distinctive image features from scale-invariant keypoints. IJCV, 60(2):91-110, 2004.
2) Vahdat Kazemi and Josephine Sullivan. One millisecond face alignment with an ensemble of regression trees. In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages 1867–1874. IEEE, 2014.
3) Bull. Math. Biophys. – 1943. – v.5. – pp.115–133. Русский перевод • первоначальная публикация: Мак-Каллок У.С., Питтс В. Логическое исчисление идей, относящихся к нервной активности
4) Горбань А. Н. Обучение нейронных сетей. – М. : ПараГраф, 1990.
5) F. Schroff, D. Kalenichenko, and J. Philbin, “Facenet: A unified embedding for face recognition and clustering,” in CVPR, 2015.
6) S. Sankaranarayanan, A. Alavi, C. D. Castillo, and R. Chel-lappa. Triplet probabilistic embedding for face veri?cationand clustering. In Biometrics Theory, Applications and Sys-tems (BTAS), 2016 IEEE 8th International Conference on,pages 1–8. IEEE, 2016.
7) Q. Cao, L. Shen, W. Xie, O. M. Parkhi, and A. Zisserman. Vggface2: A dataset for recognising faces across pose and age. arXiv preprint arXiv:1710.08092, 2017.
8) Ян Гудфеллоу. Глубокое обучение / Ян Гудфеллоу, Аарон Курвилль, Иошуа Бенджио. – М.: ДМК Пресс, 2017. – С. 21-314.
9) Антонио Джулли. Библиотека Keras – инструмент глубокого обучения/ Антонио Джулли, Суджит Пол. – М.: ДМК Пресс, 2017. – С. 20-290

Весь текст будет доступен после покупки