Кластеризация больших данных

Введение 3
Глава 1. Метод кластеризации 4
1.1 Классификация задач кластеризации 6
1.2 Основные цели кластерного анализа 7
1.3 Формальная постановка задачи кластерного анализа 7
Глава 2. Методы анализа данных 11
2.1 Алгоритм k-means(k-средних) 11
Глава 3. Реализация алгоритма k-средних 11
Заключение 25
Литература 26

Весь текст будет доступен после покупки

В наш век, когда технологии развиваются, изучение способов хранения информации необходимо в большинстве областей. Будь то медицина, наука, политика, все требует хранения и обработки данных.
Концепция больших данных достаточно современна и показывает, как информация была перенесена из обычных данных в большие данные. Если для хранения предыдущей информации требовался небольшой объем данных, то современным серверам, компьютерам и даже носителям информации с каждым годом требуется все больше места. В связи с этим обработка объема хранимой информации требует большего количества мультимедийных возможностей.
Одним из первых видимых трудов по кластеризации считается теория систематизации, а также классификации, предложенный французским ботаником Огюстеном Пирамом Декандолем в 1813 г. с целью систематизации растений. Данная теория получила название таксономия. Задача Декандоля заключалась для того, чтобы показать и классифицировать все растения на нашей планете.
Конкретно с этими задачами он изобрел данную систему классификации, в соответствии, с которой любое растение должно было относиться к ряду таксонов, к поочередным рангам (вид, род, семейство, класс), где таксон является группой дискретных объектов, связанных к этому уровню общности свойств и признаков, предоставляющую конкретную таксономическую группу.

Весь текст будет доступен после покупки

Глава 1.Метод кластеризации
Равно как и многочисленные другие концепции в науке, кластеризация обладает большое количеств разных определений и интерпретаций. Многие эксперты выделяют следующее
Кластер - группа однородных элементов, характеризуемых общим свойством. Однородность кластеров означает, что объекты, отнесенные к одному кластеру, должны быть схожи (близки) относительно выбранной метрики. Объекты из разных кластеров должны существенно отличаться. Данная задача называется задачей кластеризации данных.
Общее использования кластерного анализа ограничивается соответствующими шагами:
- выбор подборки объектов для кластеризации;
-определение набора переменных, согласно которым оцениваются объекты подборки. При надобности нормализовать значения переменных;
- вычисление значений сходства между объектами;
- использование метода кластерного анализа для формирования кластеров однотипных объектов;
- предоставление результатов анализа.
Необходимо выделить, то что применяя различные методы кластерного анализа, можно получить кластеры различной формы. К примеру, вероятны кластеры вида «цепочка», в случае когда кластеры разбиты на длинные «цепочки», вытянутые кластеры и так далее, а определенные методы могут создавать кластеры любой формы.
Разнообразные методы имеют все шансы быть нацелены на формирование кластеров конкретного размера или могут подразумевать кластеры различных размеров в наборе данных.
Из-за использования разных методов кластеризации могут быть получены различные результаты, что представляют собой обычным явлением и также характерной чертой работы этого алгоритма. Подобные характеристики следует учитывать при выборе метода кластеризации.
Имеется ряд методов кластеризации для решения этой проблемы. трудность состоит в том, что в начале анализа не имелось практически никакой дополнительной информации о данных. В данном отношении потенциальный набор решений сопоставим с входным набором по производительности, что на практике способен побудить трудности.
Решения задач через методы кластеризации широко распространено, по этой причине в наше время имеется более ста разных алгоритмов кластеризации, однако в данной работе зачастую применяются два метода — иерархический кластерный анализ и k-кластеризация.

Весь текст будет доступен после покупки

1 Халафян А.А. Статистический анализ данных. Краснодар, 2003, 192 с.
2 Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: Классификация и снижение размерности. — М.: Финансы и статистика, 1989, 607 с.
3 Барсегян А.А., Куприянов М.С. технологии анализа данных. Data Mining, Visual Mining, Text Mining, OLAP. Изд.: БХВ-Петербург, 2007, 384 с.
4 Anastasia A. Egorova, Data Mining using the Theory Cooperative Games in C-core to form clusters 2019 J. Phys.: Conf. Ser. 1392 012033.
5 Мандель И. Д.Кластерный анализ. — М.: Финансы и статистика, 1988, 176 с.
6 Загоруйко Н. Г.Прикладные методы анализа данных и знаний. — Новосибирск: ИМ СО РАН, 1999, 270 с.
7 Дюран Б., Оделл П.Кластерный анализ. — М.: Статистика, 1977, 128 с.

Весь текст будет доступен после покупки