Исследование модели и программная реализация метода классификации текстов

Содержание 4
ВВЕДЕНИЕ 5
1. АНАЛИЗ МЕТОДОВ И ВЫБОР АЛГОРИТМА КЛАСТЕРИЗАЦИИ 7
1.1. Анализ предметной области 7
1.2. Методы кластерного анализа 10
1.3. Описание методов кластерного анализа 18
1.4. Постановка задачи на разработку сетевого программного обеспечения для выполнения кластерного анализа 27
1.5. Анализ существующих программ для выполнения кластерного анализа 28
Выводы по разделу 1 35
2. РАЗРАБОТКА И ПРОГРАММНАЯ РЕАЛИЗАЦИЯ АЛГОРИТМА ДЛЯ ВЫПОЛНЕНИЯ КЛАСТЕРНОГО АНАЛИЗА 36
2.1. Разработка программной архитектуры реализации алгоритма k-means для выполнения кластерного анализа 36
2.2. Разработка логической модели программной реализации алгоритма для выполнения кластерного анализа 38
2.3. Выбор архитектуры и средств разработки программной реализации метода кластеризации 45
2.4. Описание работы программной реализации метода кластеризации в сетевом режиме 54
ЗАКЛЮЧЕНИЕ 57
СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ 58
ПРИЛОЖЕНИЕ А. Задание на магистерскую диссертацию 61
ПРИЛОЖЕНИЕ Б. Фрагмент кода программной реализации метода кластерного анализа. 62

Весь текст будет доступен после покупки

На протяжении нескольких десятилетий количество цифровых текстовых документов резко возросло. Несмотря на широкое использование фото и видео, текст остается одним из основных видов хранения информации. Большинство ресурсов и содержащейся в них информации превратило интернет в грандиозное хранилище неструктурированных данных. При этом хранение очень большого объема информации должно быть обусловлено тем, что ее поиск и обработка являются быстрыми и доступными.
Кластерный анализ считается базовой задачей в области поиска, исследования и анализа данных, статистических данных. Он распространенно используется во многих областях, в основном, а области машинного обучения. Кластерный анализ включает в себя распознавание образов, сжатие данных, исследование изображений, поиск информации и компьютерную графику.
Основными определениями кластеров являются группы с маленькими расстояниями между объектами кластера, интервалы, плотные области пространства данных или отдельные статистические распределения.
Важнейшая роль кластеризации - это оптимизация. Соответствующий метод кластеризации и задача параметров (включая такие значения, как используемая функция расстояния, порог плотности или количество выходных кластеров) зависят от индивидуального набора данных и предполагаемого использования результатов.

Весь текст будет доступен после покупки

1. АНАЛИЗ МЕТОДОВ И ВЫБОР АЛГОРИТМА КЛАСТЕРИЗАЦИИ
1.1. Анализ предметной области
Существует несколько приемов обработки текста:
- Первый опирается на модель языка и правил;
- Второй строится на основе машинного обучения.
Первый прием, в отличии от второго крайне трудоёмкий, но именно он позволяет получить наиболее точные результаты.
При увеличении обучающей выборки улучшаются результаты, что не требует совершенствования математических методов.
И первый, и второй подходы заключаются в:
• Анализирование мнений.
• Классификации текстов по схожествам.
• Соотношении текста к определенным группам.
Используется, например, в онлайн-библиотеках.
• Анализирование высказываний.
• Генерации компьютерной речи.
Используется в робототехнике, смартфонах, навигаторах.
• Ведении диалога.
Используется в робототехнике, например, говорящие роботы, голосовые помощники.
• Проверки грамматики и правописания.
Используется в текстовых редакторах, поисковых системах.
• Извлечении смысловой нагрузки из текста.
Поиск ключевых слов и словосочетаний, синонимизация. Применяется в новостных системах для агрегирования серии новостных сообщений, базах знаний для организации хранения знаний и вывода новых фактов.
• Поиске ответов на вопросы.
Поиск наиболее подходящего ответа на поставленный вопрос. Применяется в поисковых системах.
• Машинном переводе.
Одним из главных достоинств машинного перевода является автоматическая классификация входных электронных данных, модель которой сводится к считыванию, обработке текста и присвоению документу темы из заранее заданного списка.
Разделение неструктурированной группы документов на группы в соответствии с содержимым документов является основной задачей кластеризации текстов.
Неструктурированными являются данные без внутренней структуры или определения, соответствующего задаче, которую предполагается решать.

Весь текст будет доступен после покупки

1. Аливкин Т. В. Информационные аналитические системы: учебник; под ред. В. В. Дигка. - Москва : Синергия, 2019. - 379 с.
2. Кракина Е.В. Методы и средства проектирования информационных систем и технологий: учебное пособие / Кракина Е.В., 2017. -152 c.
3. Загребаньев А.А., Улькина Т.А., Кобичев Ю.Г. Методы математического программирования: учебное пособие – М.: МИФИ, 2017. – 332 с.
4. Трутнев Д. Р. Архитектуры информационных систем. Основы проектирования: учеб. пособие. – СПб.: НИУ ИТМО, 2012. – 66 с.
Электронные ресурсы
5. Интеллектуальный дизайнер для MySQL. - URL: https://www.deart.com/ru/dbfoge/mysql/studio (дата обращения 21.04.2022).
6. Компания StatSoft. - URL: http://statsoft.ru/products (дата обращения 01.05.2022).
7. Метод k-средних. – URL:https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%D0%BE%D0%B4_k-%D1%81%D1%80%D0%D0%B4%D0%BD%B8%D1 (дата обращения 20.04.2022).
8. Платформа ClusterDELTA.- URL: http://clusterdelta.com/platform (дата обращения 10.03.2022).
9. Программа Visual Volume .- URL: http://t-traders.com/other/forxsoft/2680-visual-volme-analiz-obema.html (дата обращения 09.02.2022).
10. Сервис калькулятор кластерного анализа. -URL: http://axd.smstr.ru/cluster.php (дата обращения 09.02.2022).

Весь текст будет доступен после покупки