Распознавание рукописных математических выражений с использованием нейронных сетей

Введение___________________________________________________________3
Актуальность ___________________________________________________4
Постановка задачи__________________________________________________5
Глава 1: Обзор литературы___________________________________________7
Глава 2: Основные понятия__________________________________________9
Глава 3: Реализация_______________________________________________14
3.1: Построение диаграммы Вороного_____________________________14
3.2: Обучение свёрточной нейронной сети_________________________16
3.3: Распознавание______________________________________________19
3.3.1: Первая попытка распознавания_____________________________19
3.3.2 : Вторая попытка распознавания_______________________________23
Выводы ______________________________________________________25
Заключение______________________________________________________25
Использованные материалы ________________________________________27

Весь текст будет доступен после покупки

Человечество веками стремилось к автоматизации. Сегодня всё больше типовых задач способны взять на себя специальные устройства и грамотно написанные алгоритмы.
Одной из задач оптического распознавания символов (англ. Optical Character Recognition — OCR) является задача распознавания рукописного текста. Главное отличие и сложность рукописного текста в том, что не существует стандарта написания одних и тех же букв, символов. Каждый человек может написать их по-разному. Кроме того, в отличие от печатного текста, его рукописный аналог, зачастую, сложно разделить на строки и слова; строки могут получиться косыми, а несколько слов одного предложения слиться воедино.
Среди рукописных текстов можно встретить специализированный, направленный на определенную аудиторию текст. В данной работе рассматриваются рукописные математические тексты. Их основная сложность в наличии формул, которые, в отличие от обычных слов и букв, может быть сложно выделять из текста. Они могут быть не линейны, содержать в себе трудноотделимые символы, такие как квадратные корни и степени.

Весь текст будет доступен после покупки

Глава 1: Обзор литературы
Первым делом, необходимо найти способ выделять в рассматриваемой рукописной системе линейных уравнений строки, для их дальнейшего анализа и распознавания. Так как в данной работе рассматривается OFFLINE распознавание, отсутствует информация о том, как именно была написана система. Невозможно отследить действия человека, написавшего уравнение, которые могли помочь в определении того, какой строке принадлежит тот или иной символ.
Кроме того, дополнительную сложность представляет сама по себе рукописная природа символов, которые необходимо распознавать. Символы одного выражения, в отличие от печатного случая, могут располагаться не на одной горизонтальной прямой, а быть сдвинуты по горизонтали, а также иметь разный межсимвольный и межстрочный интервалы.
В работе [1] описывается приём построения текстового скелета, который можно использовать для разделения текста на строки, а строки на слова. Автор показывает его эффективность на печатном тексте, в том числе, искаженном относительно осей абсцисс и ординат.
Наиболее подходящим для поставленной задачи, а именно, выделение выражений на изображении, содержащем СЛУ, является подход, подразумевающий построение скелета текста, в качестве которого выступает диаграмма Вороного. Она будет использоваться, как текстовый скелет, по аналогии с [1]. В статье [2] описываются алгоритмы на основе диаграммы Вороного, позволяющие разделять выражения между собой, используя различные метрики. В частности, важными метриками являются близость символа к границе его клетки и расстояние между двумя соседними ячейками Вороного.
Глава 2: Основные понятия
В этой главе приводятся необходимые для работы математические алгоритмы. Кроме того, будут перечислены некоторые термины, относящиеся к темам нейронных сетей и распознаванию изображений.
Перцептрон (perceptron) Розенблатта — нейронная сеть, имеющая 1 скрытый слой, позволяющий ей решить «проблему XOR».
Многослойный перцептрон (multilayer perceptron, MLP) — идейное продолжение перцептрона Розенблатта, суть которого в наличии более одного скрытого слоя. Для данной модели важной и непростой задачей является задача обучения сети, а именно настройка синапсов — весов, попарно соединяющих слои нейронов.
Метод обратного распространения ошибки (backpropagation method) — метод обучения многослойного перцептрона, основанный на алгоритме градиентного спуска. Ошибка, полученная методом градиентного спуска, распространяется дальше в сеть. Причем, сильнее корректируются веса, соединяющие нейроны, которые показывали наибольшую ошибку на тестирующем подмножестве из тестовой коллекции.
Свёрточная нейронная сеть (convolutional neural network) — особый тип нейронной сети, созданный для работы с изображениями; очень хорошо зарекомендовал себя в задачах распознавания изображений.
На вход свёрточной нейронной сети подаётся изображение. В случае, если изображение является трёх-канальным (RGB изображение), возможны два варианта обработки: приведение к чёрно-белому или рассмотрение каждого из каналов отдельно. Во втором случае, все сказанное далее будет верно, с той оговоркой, что проход по сети будет осуществляться для каждого канала отдельно.

Рисунок 1: Архитектура свёрточной нейронной сети
Далее каждое изображение проходит последовательно через свёрточный (convolutional) и подвыборочный (sub-sampling / pooling) слои. Чередуясь между собой несколько раз , они формируют входной вектор признаков для многослойного персептрона, который является завершающей частью свёрточной нейросети.
Свёрточный слой представляет собой массив так называемых карт признаков. Каждой карте соответствует своё сканирующее ядро (или, как иногда говорят, фильтр). Пришедшее с предыдущего слоя изображение подвергается свёртке - сканирующее ядро проходит по всему изображению, начиная с левого верхнего угла, и на каждой итерации записывает сумму поэлементного произведения своих элементов и элементов, которые подвергаются свёртке.

Весь текст будет доступен после покупки

Masalovitch A., Mestetskiy L. Usage of continuous skeletal image representation for document images de-warping //Proceedings of International Workshop on Camera-Based Document Analysis and Recognition, Curitiba. – 2007. – С. 45-53.
Запрягаев С. А., Сорокин А. И. Сегментация рукописных и машинописных текстов методом диаграмм Вороного //Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. – 2010. – №. 1. – С. 160-165.
Ondrej M., Frantisek V. Z., Martin D. Algorithmic and mathematical principles ofautomatic number plate recognition systems //Brno University of technology. – 2007. – Т. 10.
https://github.com/Yatoom/voronoi - An implementation of Fortune'а предлагается на выбор одна из нескольких популярных библиотек. Тоs algorithm in
python
https://www.photomath.net/en/ - Photomath

Весь текст будет доступен после покупки