Оценка качества кластеризации данных.

Глава 1. Анализ методов кластеризации и оценок их качества
1.1 Задача кластеризации. Меры расстояний и сходства
1.2 Основные методы кластеризации
1.2 Внешние метрики оценки качества кластеризации
1.3 Внутренние метрики оценки качества кластеризации
Глава 2. Нейронные сети в кластеризации данных и оценки качества
2.1 Глубокое обучение и кластеризация
2.2 Модели нейронных сетей для кластеризации
2.2.1 Автоэнкодеры в задачах кластеризации
2.2.2 Самоорганизующиеся карты (SOM) и их применение
2.3. Оценка
Глава 3. Разработка Python-программ оценки качества кластеризации
3.1 Пакеты Python для кластеризации
3.2 Применение методов кластеризации для данных
3.2.1 k-means
3.2.2 Иерархическая кластеризация
3.2.3 DBSCAN
3.3. Анализ полученных результатов кластеризации
3.4. Разработка программ нейронной сети для кластеризации
3.5. Анализ полученных результатов применения нейросети
ЗАКЛЮЧЕНИЕ
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
ПРИЛОЖЕНИЯ

Весь текст будет доступен после покупки

В современном мире, объем данных растет с каждым днем. Их разнообразие и сложность только увеличивается. Одной из важной задачи в анализе данных является выявление закономерностей. Кластеризация, представляющая собой процесс группировки объектов таким образом, чтобы внутри каждой группы объекты были похожи, а между группами — различны, является главным подходом в решении этой задачи.
Эффективность кластеризации имеет важное значение в маркетинговых исследованиях, биоинформатики и анализа социальных сетей. В маркетинге кластеризация помогает сегментировать клиентов на основе покупательского поведения. Следовательно, без оценки качества кластеризации не обойтись.
Цель дипломной работы: изучить основные методы и оценить качество кластеризации данных.
Задачи:
1. Анализ существующих методов кластеризации.
2. Исследование внешних и внутренних метрик для оценки качества кластеризации.
3. Изучение применения нейронных сетей в задачах кластеризации и оценки их качества.
4. Разработка программ на языке программирования Python для анализа данных и оценки качества кластеризации.

Весь текст будет доступен после покупки

ГЛАВА 1. АНАЛИЗ МЕТОДОВ КЛАСТЕРИЗАЦИИ И ОЦЕНОК ИХ КАЧЕСТВА
В этой главе выполнен анализ основных методов кластеризации и оценок их качества. Рассмотрены и проанализированы меры расстояний, внешние и внутренние метрики оценки, а также основные методы кластеризации.
Задача кластеризации. Меры расстояний
Основная цель кластеризации — разделить данные на группы схожих точек данных. Хорошее разделение точек данных на кластеры имеет важное значение для многих приложений анализа и визуализации данных.
Задача кластеризации сводится к разбиению множества объектов, представленных векторами x^i? R^n,i=1,2,…,N, на группы, называемые кластерами. Объекты формируются в кластеры таким образом, чтобы те из них попали в один и тот же кластер, были максимально похожи друг на друга и одновременно максимально отличными от объектов из других кластеров.
Формальная постановка задачи кластеризации выглядит следующим образом: пусть заданы множества объектов X=(x1,x2,…,xn) и номеров кластеров Y=(y1,y2,…,yk). Для X определена некоторая функция расстояния между объектами D(x,x'), например, метрика L2. Кроме этого, имеется конечная выборка обучающих примеров Xm=(x1,x2,…,xm) из множества X, которую требуется разбить на Xm непересекающиеся подмножества (кластеры) так, чтобы каждое из них состояло бы только из элементов, близких по метрике D. При этом каждому объекту xi из множества Xm присваивается номер кластера yj.
Тогда задача заключается в поиске функции f, которая любому объекту x из множества X ставит в соответствие номер кластера y из множества Y, которое само по себе бывает известно заранее. Однако в большинстве случаев приходится определять оптимальное число кластеров исходя из особенностей решаемой задачи.
Для успешной кластеризации необходимо использовать определённую меру, которая позволит оценить, насколько один объект похож или отличается от другого. Существует два основных типа таких мер: меры расстояния и меры сходства. В многих методах кластеризации применяются именно меры расстояния для определения степени сходства или различия между парами объектов. Эти методы определяют расстояние между парами объектов как важный критерий для группировки. Особенно важно, чтобы измерения расстояния были симметричными и достигали минимума (обычно ноль) для идентичных объектов.

Весь текст будет доступен после покупки

1. https://www.litres.ru/book/raznoe-4340152/prakticheskoe-primenenie-metodov-klasterizacii-klassifikaci-64241736/
2. Маккини У. Python и анализ данных. – М.: Наука, 2023. – 484 с.

Весь текст будет доступен после покупки