Средства токенизации научно-технических текстов для семантической интерпретации.

Введение 3
1 Задачи и подходы компьютерной лингвистики 4
1.1 Приложения компьютерной лингвистики 5
1.2 Сложности моделирования естественного языка 10
1.3 Общие этапы и модули обработки текстов 13
1.4 Подходы к построению модулей компьютерной лингвистики 16
2 Современное состояние проблемы автоматического реферирования текста и пути ее решения 18
2.1 Особенности задачи автоматического реферирования текста 18
2.2 Обзор методов автоматического реферирования текста 23
2.3. Современные системы автоматического реферирования текста 30
3 Разработка алгоритма автоматического реферирования текста 35
3.1 Обобщенный алгоритм автоматического реферирования 35
3.2 Разработка алгоритма разбиения текста на предложения 37
3.3 Разработка алгоритма разбиения предложений на токены 39
3.4 Разработка алгоритма составления реферата 41
4 Построение системы и исследование эффективности алгоритма автоматического реферирования текста 42
4.1 Общая концепция организации системы автоматического реферирования текста 42
4.2 Программная реализация системы автоматического реферирования 44
4.3 Оценка эффективности алгоритма автоматического реферирования текста 50
Заключение 58
Список использованных источников 59
Приложение А Программная реализация системы автоматического реферирования 66
Приложение Б Примеры текстов и рефератов 80

Весь текст будет доступен после покупки

В настоящее время каждый день человек сталкивается с большим количеством научно-технической информации, представленной в том числе в виде текста, которая требует обработки. Часто количество документов настолько велико, что тяжело внимательно изучить их за приемлемое время, поэтому вопрос времени стоит особенно остро.
Анализ содержания большого объема текста проблематичен с точки зрения затрачиваемого времени. Ясно, что чем меньше объем текста, тем меньше времени потребуется на его обработку. Отсюда вытекает задача выделения из текста некоторых структур, которые могли бы представить содержание текста в лаконичном виде с целью минимизации времени, затрачиваемого на обработку этого текста. Одной из таких структур является реферат – краткий текст, который выражает главную мысль исходного текста. Поэтому задача реферирования текста заключается в формировании лаконичного изложения его содержания.

Весь текст будет доступен после покупки

1 Задачи и подходы компьютерной лингвистики

Компьютерная лингвистика существует уже десятки лет. Возникновение сети интернет и бурный рост доступной текстовой информации существенно ускорило формирование этой научной области. В рамках данной области предложено немало идей по автоматической обработке текстов на естественном языке, которые были воплощены в прикладных системах. В сфере автоматической обработки текстов постоянно возникают новые задачи, требующие решения. Интернет-сайт международной ассоциации компьютерной лингвистики поможет получить представление о достижениях области. Здесь собрано множество работ в данной области.
Компьютерная лингвистика – область, которая появилась на стыке таких наук, как лингвистика, математика, информатика, искусственный интеллект. В своем развитии она до сих пор использует созданные в данных науках методы и инструменты.
Развитие компьютерной лингвистики началось с работ знаменитого американского языковеда Н. Хомского по формализации структуры естественного языка [1], с первых экспериментов в области машинного перевода, произведенных математиками и программистами, а еще с началом разработки программ, направленных на осмысление текста на естественном языке, с использованием технологий искусственного интеллекта.
Так как в компьютерной лингвистике объектом обработки выступают тексты естественного языка, ее формирование невозможно в отсутствии базовых знаний в области общей лингвистики [2]. Лингвистика включает такие области:
1) фонология – исследует звуки речи и правила их соединения при формировании речи;
2) морфология – занимается внутренней структурой и внешней формой слов речи, включая части речи и их категории;
3) синтаксис – исследует структуру предложений, правила сочетаемости и порядка следования слов в предложении, а еще общие его характеристики как единицы языка.
4) семантика – занимается значением слов, предложений и остальных единиц речи;
5) прагматика – занимается особенностями выражения данного значения в связи с целями общения;
6) лексикография – описывает лексикон естественного языка – его отдельные слова, их грамматические и семантические характеристики, а еще способы создания словарей.
Компьютерная лингвистика наиболее тесно связана с областью искусственного интеллекта [3], в которой разрабатываются программные модели отдельных интеллектуальных функций. Искусственный интеллект не охватывает всю компьютерную лингвистику, хотя исследования в этих областях имеют много общего, а именно – использование преимущественно компьютерного моделирования для решения задач, конечная цель исследований, использование эвристических методов.
Задача компьютерной лингвистики – разработка методов и средств построения лингвистических процессоров для решения задач в области автоматической обработки текстов, написанных на естественном языке. При этом создается модель языка, основанная на формальном описании свойств этого языка.

Весь текст будет доступен после покупки

1. Chomsky, N. Syntactic Structures. The Hague: Mouton, 1957.
2. Касевич В.Б. Элементы общей лингвистики. – М., Наука, 1977.
3. Люгер Дж. Искусственный интеллект: стратегии и методы решения сложных проблем. М., 2005.
4. Somers, H. Machine Translation: Latest Developments. In: The Oxford Handbook of Computational Linguistics. Mitkov R. (ed.). Oxford University Press, 2003, р. 512-528.
5. Маннинг К., Рагхаван П., Шютце Ч. Введение в информационный поиск – М.: Вильямс, 2011.
6. Васильев В. Г., Кривенко М. П. Методы автоматизированной обработки текстов. – М.: ИПИ РАН, 2008.
7. Барсегян А.А. и др. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP – 2-e изд. – СПб.: БХВ-Петербург, 2008.
8. Grishman R., Information Extraction. In: The Handbook of Computational Linguistics and Natural Language Processing. A. Clark, C. Fox, and S. Lappin (Eds), Wiley-Blackwell, 2010, p. 515-530.
9. Harabagiu, S., Moldovan D. Question Answering. In: The Oxford Handbook of Computational Linguistics. Mitkov R. (ed.). Oxford University Press, 2003, р. 560-582.

Весь текст будет доступен после покупки