MapReduce: вычисление группировки и агрегирования

Введение 3
Глава 1. ОБЩАЯ ЧАСТЬ 6
1.1. Горизонтальное масштабирование 6
Глава 2. ТEХНОЛОГИЯ MAPREDUCE 7
2.1. Описание технологии MapReduce 7
2.2. Архитектура MapReduce 13
Глава 3. Вычисление группировки и агрегирование 18
3.1. Описание процесов 18
Map 18
Reduce 20
Заключение 27
Список использованных источников 28
Приложение 1 30
Приложение 2 31
Приложение 3 32
Приложение 4 34

Весь текст будет доступен после покупки

Мы производим огромное количество данных каждый день, знаем мы об этом или нет. Каждый клик в Интернете, каждая банковская транзакция, каждое видео, которое мы смотрим на YouTube, каждое электронное письмо, которое мы отправляем, каждый лайк в нашем посте в Instagram составляют данные для технологических компаний.
При таком огромном объеме собираемых данных компаниям имеет смысл использовать эти данные только для того, чтобы лучше понимать своих клиентов и их поведение. Именно по этой причине популярность науки о данных за последние несколько лет многократно возросла.
Большие данные — это именно то, что следует из названия, “большой” объем данных. Большие данные означают большой по объему и более сложный набор данных. Из-за большого объема и более высокой сложности больших данных традиционное программное обеспечение для обработки данных не может справиться с этим. Большие данные просто означают наборы данных, содержащие большое количество разнообразных данных, как структурированных, так и неструктурированных.
Большие данные позволяют компаниям решать проблемы, с которыми они сталкиваются в своем бизнесе, и эффективно решать эти проблемы с помощью аналитики больших данных. Компании пытаются выявить закономерности и извлечь информацию из этого моря данных, чтобы на ее основе можно было действовать для решения имеющихся проблем.
5 Преимуществ больших данных
Дуг Лейни представил эту концепцию 3 против больших данных, а именно. Объем, Разнообразие и Скорость.
• Объем относится к объему собираемых данных. Данные могут быть структурированными или неструктурированными.

• Скорость относится к скорости, с которой поступают данные.
• Разнообразие относится к различным видам данных (типам данных, форматам и т.д.), Которые поступают для анализа.
• За последние несколько лет также появилось 2 дополнительных типа данных – ценность и достоверность.
• Ценность относится к полезности собранных данных.
• Достоверность относится к качеству данных, поступающих из разных источников.

Весь текст будет доступен после покупки

Глава 1. ОБЩАЯ ЧАСТЬ
1.1. Горизонтальное масштабирование
Этот подход - лучшее решение для проектов, которым требуется высокая доступность или отказоустойчивость. При горизонтальном масштабировании мы повышаем производительность сервера, добавляя больше машин в сеть, разделяя рабочую нагрузку обработки и памяти между несколькими устройствами. Мы просто добавляем дополнительные экземпляры сервера к существующему пулу серверов и распределяем нагрузку между этими серверами. При таком подходе нет необходимости изменять мощность сервера или заменять сервер. Кроме того, как и при вертикальном масштабировании, при добавлении дополнительных серверов в сеть нет простоев. Большинство организаций выбирают этот подход, потому что он включает увеличение параллелизма ввода-вывода, снижение нагрузки на существующие узлы и увеличение емкости диска.
Одним из способов горизонтального масштабирования является разбиение кода. Важно разбить код на маленькие части дабы в дальнейшем иметь возможность распараллелить выполнение операций. Вкупе разбиение кода и его распараллеливание дает значительный эффект в работе программы, что позволяет работать с большими данными, не замечая особых трудностей. Конечно, для должной работы необходимо грамотно использовать не только программные алгоритмы, но и технические элементы (железо). Ведь без большого количества северов с мощным железом программ будет работать не так эффективно, как могла бы. Поэтому важно учитывать все тонкости работы с вычислениями и данными от мощного железа до эффективно работающего программного обеспечения.

Весь текст будет доступен после покупки

1. Уроки по программированию, DevOps и другим IT-технологиям [Электронный ресурс]. URL: https://coderlessons.com/tutorials/bolshie-dannye-i-analitika/izuchit-kartu-umenshit/mapreduce-kratkoe-rukovodstvo (дата обращения: 10.12.2021).
2. Medium [Электронный ресурс]. URL: https://medium.com/swlh/relational-operations-using-mapreduce-f49e8bd14e31 (дата обращения: 10.12.2021).
3. CodeProject [Электронный ресурс]. URL: https://www.codeproject.com/Articles/1272296/Map-Reduce-script-in-NetSuite-with-SuiteScript-2-0 (дата обращения: 10.12.2021).
4. Уроки по программированию, DevOps и другим IT-технологиям [Электронный ресурс]. URL: https://coderlessons.com/tutorials/bolshie-dannye-i-analitika/osnovy-bolshikh-dannykh/7-schetchiki-i-soedineniia-v-mapreduce (дата обращения: 10.12.2021).
5. MongoDB [Электронный ресурс]. URL: https://docs.mongodb.com/manual/core/map-reduce/ (дата обращения: 10.12.2021).
6. Edureka онлайн курсы [Электронный ресурс]. URL: https://www.edureka.co/blog/mapreduce-tutorial/ (дата обращения: 10.12.2021).
7. Talend единая платформа для надежных и доступных данных [Электронный ресурс]. URL: https://www.talend.com/resources/what-is-mapreduce/ (дата обращения: 10.12.2021).
8. Благиев А., Хапаева Н., Big data простым языком – Издательство АСT, 2019г., 256с.

Весь текст будет доступен после покупки