Использование технологии BigData на предприятии

Введение 4
1. Теоретические основы технологии Bigdata 6
1.1. История Bigdata 6
1.2 Преимущества и недостатки использования Bigdata 9
1.3 Как Bigdata используется в экономических исследованиях? 11
1.4 Основы Bigdata 13
2. Применение Bigdata в экономике 18
2.1 Анализ использования технологии Bigdata 18
2.2 Как технология Bigdata влияет на предприятия? 21
2.3 Bigdata в 2024 году 27
2.4 Проблемы, возможности и перспективы Bigdata 30
2.5 Задачи Big Data в экономических исследованиях 34
3. Анализ опыта работы с BigData в ходе практики 44
3.1 Ознакомление с местом практики 44
3.2 1С СПАРК Риски 45
3.3 Apache Spark 50
3.4 Apache Hadoop 54
3.5 Влияние Bigdata на производительность 57
Заключение 58
Список использованных источников 60

Весь текст будет доступен после покупки

Технология Big Data широко применяется в экономических исследованиях для сбора, обработки и анализа больших объемов данных с целью получения ценной информации и принятия обоснованных решений. Данная технология используется большим количеством компаний, так как это позволяет лучше понимать конечного потребителя и эффективно управлять финансами. Большие данные, представляя собой огромные объемы разной цифровой информации, эффективная обработка которой может производиться только за счёт специального программного обеспечения и алгоритмов, это позволяет определить закономерности между событиями, которые не могут быть найдены человеком.
Количество и разнообразие компьютерных данных растет в геометрической прогрессии по многочисленным причинам, как, например, создание обширной базы данных организации о предоставленной продукции по дням, часам и настроению клиента. Так, компании разрабатывают финансовое планирование оказываемых услуг, а социальные сети выступают драйвером формирования мнения о ведении бизнеса и общественного настроения. Ведь получение конкурентного преимущества – одна из долгосрочных целей. Благодаря этим технологиям в финансовом мире произошли кардинальные изменения в способах и стратегиях ведения бизнеса финансовыми учреждениями. Хотя внедрение фин. технологий в экономическое пространство не изменило эту сферу значительно, чтобы полностью устранить необходимость в традиционных финансовых учреждениях, но дало значительный толчок для внедрения во все большее количество компаний операций с большими данными. Тем самым обеспечивается более качественный сервис предоставления конкретных продуктов конечному потребителю. Поскольку доступность технологий в современном мире достаточно высока, это приведет к более высоким результатам взаимоотношений между клиентами и финансовыми учреждениями.

Весь текст будет доступен после покупки

1 Теоретические основы технологии Bigdata
11 История Bigdata
Компания Silicon Graphics, Джон Мэсси написал статью, в которой подчеркнул важность анализа и обработки больших объемов данных для эффективного функционирования информационных систем В результате этих исследований термин Big Data стал широко используемым для описания ситуаций, когда объем данных настолько велик, что стандартные методы обработки становятся неэффективнымиSilicon Graphics, IncНа конференции USENIX было замечено, что Джон Мэши активно использовал понятие Big Data в современном контексте
Восприятие возможностей больших данных пришло немного далее Например, в ноябре 2000 года на восьмом всемирном конгрессе эконометрического сообщества, Фрэнсис Дайболд предположил доклад под названием “Динамические факторные модели на основе наибольших данных для макроэкономических измерений и прогнозирования”, где он утверждал: «В последнее минута наука столкнулась с явлением больших данных и смогла извлечь из них пользу Большие данное представляют собой увеличение объема (а иногда и качества) легкодоступной и потенциально важной информации, что является результатом значительных достижений в области записи и сохранения данных»
В одном из свежих интервью 2021 года он выразил свое научное открытие термина "Big Data" во время обсуждения двух презентаций на восьмом Всемирном съезде Эконометрического общества В этих презентациях был представлен новый упрощенство к макроэкономическим динамическим факторным моделям (ДФМ): простым статистическим моделям, где перемены большого количества серийно коррелированных наблюдаемых переменных неполно объясняются их зависимостью от небольшого набора базовых серийно коррелированных латентных переменных, или "моментов" ДФМ широко используются в динамических экономических сценариях, где наблюдаемые переменные почасту движутся параллельно друг другу
6 февраля 2001 года был опубликован подлинный документ Дугласа Лейни под названием "Управление трехмерными данными: Управление размером, скоростью и разнообразием данных" В нем раскрываются ключевые проблемы, связанные с увеличивающимися требованиями к центральным хранилищам данных в условиях быстрого становления электронной коммерции Документ также делает прогноз касательно изменения стратегии IT-компаний в отношении методов построения зодчества решений, связанных с хранением и обработкой информации
Широкое ввод понятия "большие данные" в научном сообществе ассоциируется с фамилией Клиффорда Линча, главного редактора журнала Nature, каковой подготовил специальный выпуск к 3 сентября 2008 года на тему "Как спецтехнологии, позволяющие работать с огромными объемами данных, могут повлиять на судьба науки" В этом выпуске были собраны материалы о взрывном подъеме объемов и разнообразии обрабатываемых данных, а также о технологических перспективах в сфере вероятного перехода от количества к качеству
В декабре 2008 года была опубликована часть под названием «Вычисления с применением больших данных: новаторские прорывы в бизнесе, науке и обществе» В тексте отмечалось, что, схоже поисковым системам, которые изменили доступность информации, переработка больших данных может привести к переменам в деятельности фирм, научных исследованиях, медицине и обороне Обработка больших этих представляет собой значительное достижение в области компьютерных спецтехнологий за последние десятилетия Открытие потенциала больших данных лишь начинается, и государственные инвестиции могут ускорить исследования в данной области

Весь текст будет доступен после покупки

1 Майер-Шенбергер В Большие данные Революция, которая изменит то, как мы живем, работаем и мыслим / Перевод с английского И Гайдюк – Москва : Манн, Иванов и Фербер – 240 с
2 Сенько, АВ Работа с BigData в облаках / АВ Сенько – СПБ : Издательский дом "Питер" – 448 с
3 Дейтел П Python: Искусственный интеллект, большие данные и облачные вычисления / П Дейтел, Х Дейтел – СПБ : Для профессионалов (Питер) – 864 с
4 Эйден Э Неизведанная территория Как «большие данные» помогают раскрывать тайны прошлого и предсказывать будущее нашей культуры / Перевод с английского П Миронов – Москва : АСТ – 352 с
5 Гаврилова, ТБ Большие данные и исследование бизнес-процессов / ТБ Гаврилова, НВ Сапрыкина, ДВ Корзун – Москва : Издательство Юрайт – 192 с
6 Зыков, Р Роман с Data Science Как монетизировать большие данные / Р Зыков – СПБ : Питер – 320 с
7 Гладких, С Е Большие данные / С Е Гладких – СПБ : БХВ-Петербург – 320 с
8 Макшанов, АВ Большие данные Big Data / АВ Макшанов, АЕ Журавлев, ЛН Тындыкарь – СПБ: Лань – 188 с
9 О`Нил, К Убийственные большие данные Как математика превратилась в оружие массового поражения / К О`Нил – Москва : АСТ – 320 с
10 Шихов, В Большие данные и машинное обучение: экономика, право, наука / В Шихов – СПБ : Питер – 384 с

Весь текст будет доступен после покупки