Распознавание встроенных субтитров в видеопотоке

Введение 3
Постановка задачи 6
Обзор существующихметодовполучениясубтитроввстроенных в видеопоток 8
Глава 1. Предварительная обработка изображений 12
1.1 Обнаружение краев 12
1.2 Гистограммы 13
1.3 Статичные регионы 14
1.4 Заполнение изображения 15
Глава 2.Обнаружение субтитров и распознавание текста 20
2.1 Анализ связанных компонентов 20
2.2 метка времени 22
2.3 Распознавание текста 26
Экспериментальная процедура и результаты эксперимента 27
Выводы 32
Заключение 34
Список литературы 36

Весь текст будет доступен после покупки

С быстрым развитием цифровых медиа видеоконтент стал одним из основных способов доступа людей к информации, развлечениям и обучению. Однако при просмотре видео иногда приходится сталкиваться с языковыми барьерами или ограниченным слухом, что делает субтитры все более важными. Субтитры не только дают зрителям возможность понять содержание видео, но и являются необходимым подспорьем для людей с нарушениями речи, слуха и обучающихся. Поэтому разработка методов извлечения субтитров имеет большое значение для улучшения доступности и понятности видео.
Однако большинство современных видео не поставляются с внешними файлами субтитров, а информация о субтитрах встраивается непосредственно в видеопоток. Извлечение таких встроенных субтитров является более сложной задачей, чем традиционное извлечение внешних файлов субтитров, поскольку они обычно сочетаются с видеоконтентом и могут зависеть от качества видео, стиля субтитров и языка субтитров. Поэтому разработка эффективного и точного алгоритма извлечения встроенных субтитров имеет большое практическое значение и представляет собой сложную задачу.

Весь текст будет доступен после покупки

Обзор существующихметодовполучениясубтитроввстроенных в видеопоток
Существующие методы обнаружения встроенных субтитров в видеопотоке обычно сначала разрезают видеоклип, чтобы получить серию изображений неподвижных кадров, а затем анализируют и обрабатывают эти изображения кадров. Поскольку видео содержит большое количество изображений кадров, лишь некоторые из которых содержат текст, и мы не можем предсказать, в каком кадре появится субтитр, поиск текста субтитров без анализа каждого кадра займет много времени и не сможет удовлетворить требованиям реального времени. Если ключевые кадры, содержащие текст субтитров, могут быть обнаружены и извлечены, это значительно сэкономит время и ускорит распознавание субтитров.
Метод, предложенный Чжун Цзи [15], сначала раздвигает небольшое окно на изображении видеокадра, чтобы получить смешанные особенности изображения в окне, а затем извлекает текст, отделяя его от фона с помощью классификатора на основе машины опорных векторов. Метод, предложенный Яном Лю [7], заключается в отслеживании цели путем выполнения операции разности на двух соседних изображениях в последовательности кадров и комбинирования ее с определенным порогом для оценки изменения области. Этот метод больше подходит для последовательностей видеокадров с относительно статичным фоном. Чун Чжи [6] охарактеризовал изображения кадров с точки зрения яркости, текстуры и других особенностей и использовал информацию об этих особенностях, а также разницу между изображениями соседних кадров для обнаружения ключевых кадров видеосубтитров, причем этот метод позволяет добиться динамического выделения ключевых кадров субтитров.
Поиск текста на сложном фоне - одна из ключевых и сложных задач при извлечении субтитров из видео. Информация о краях текстовой области особенно богата, а сила краев, плотность краев и переменные направления краев являются важными характеристиками текста. Сначала изображение обрабатывается алгоритмом обнаружения краев, который вычисляет значения градиента отдельных пикселей и объединяет их с количеством пикселей в небольшой области, чтобы определить, принадлежат ли они краям текста или нет.

Весь текст будет доступен после покупки

[1] Burnt-in subtitle extractor. [Online resource]: https://github.com/roybaer/burnt-in-subtitle-extractor
[2] CCExtractor’s home page. [Online resource]: https://www.ccextractor.org/start
[3] Chen, Datong, Herve Bourlard, Jean-Philippe Thiran. "Text Identification in Complex Background Using SVM." Proceedings of the International Conference on Computer Vision. In Proc. IEEE CVPR, 2001: 621-626.
[4] Gaussian Blur. [Online resource]: https://baike.baidu.com/item/%E9%AB%98%E6%96%AF%E6%A8%A1%E7%B3%8A/10885810
[5] Image Segmentation - Connected Region Analysis. [Online resource]: https://blog.csdn.net/sy95122/article/details/80757281
[6] Ji, Chun. "Key Frame Extraction Technology in Content-based Video Retrieval." Nanjing Institute of Science and Technology Information, 2006.
[7] Liu, Yang. "Comparative Study of Road Sign Detection" [D]. Zhejiang University, 2013.

Весь текст будет доступен после покупки