Технология BigData в экономических исследованиях

Аннотация 3
Введение 4
1. Теоретические основы технологии BigData 6
1.1. История BigData 6
1.2 Преимущества и недостатки использования технологии BigData 9
1.3 Как BigData используется в экономических исследованиях? 11
1.4 Основы BigData 13
2. Применение BigData в экономике 18
2.1 Анализ использования технологии BigData в экономических исследованиях. 18
2.2 Как технология BigData влияет на экономические исследования? 21
2.3 BigData в экономических исследованиях в 2024 году 28
2.4 Проблемы, возможности и перспективы использования технологии BigData в экономических исследованиях 31
2.5 Задачи Big Data в экономических исследованиях 35
3. Анализ опыта работы с BigData, полученного в ходе производственной пракитки 45
3.1 Ознакомление с местом практики 45
3.2 1С СПАРК Риски 46
3.3 Apache Spark 51
3.4 Apache Hadoop 55
3.5 Влияние BigData на производительность 58
Заключение 60
Список литературы 62

Весь текст будет доступен после покупки

Технология Big Data широко применяется в экономических исследованиях для сбора, обработки и анализа больших объемов данных с целью получения ценной информации и принятия обоснованных решений. Данная технология используется большим количеством компаний, так как это позволяет лучше понимать конечного потребителя и эффективно управлять финансами. Большие данные, представляя собой огромные объемы разной цифровой информации, эффективная обработка которой может производиться только за счёт специального программного обеспечения и алгоритмов, это позволяет определить закономерности между событиями, которые не могут быть найдены человеком.
Количество и разнообразие компьютерных данных растет в геометрической прогрессии по многочисленным причинам, как, например, создание обширной базы данных организации о предоставленной продукции по дням, часам и настроению клиента. Так, компании разрабатывают финансовое планирование оказываемых услуг, а социальные сети выступают драйвером формирования мнения о ведении бизнеса и общественного настроения. Ведь получение конкурентного преимущества – одна из долгосрочных целей. Благодаря этим технологиям в финансовом мире произошли кардинальные изменения в способах и стратегиях ведения бизнеса финансовыми учреждениями. Хотя внедрение финнтехнологий в экономическое пространство не изменило эту сферу значительно, чтобы полностью устранить необходимость в традиционных финансовых учреждениях, но дало значительный толчок для внедрения во все большее количество компаний операций с большими данными. Тем самым обеспечивается более качественный сервис предоставления конкретных продуктов конечному потребителю. Поскольку доступность технологий в современном мире достаточно высока, это приведет к более высоким результатам взаимоотношений между клиентами и финансовыми учреждениями.

Весь текст будет доступен после покупки

1. Теоретические основы технологии BigData
1.1. История BigData
Сам термин Big Data был впервые введен в 1997 году Майклом Коксом и Дэвидом Эльсвортом на 8-й конференции IEEE (Институт инженеров электротехники и электроники) по визуализации. Они назвали проблемой больших данных нехватку емкости основной памяти, локального и удаленного диска для выполнения виртуализации . А в 1998 году руководитель исследовательских работ в SGI (Silicon Graphics, Inc.) Джон Мэши на конференции USENIX использовал термин Big Data в его современном виде.
Понимание возможностей больших данных появилось немного позже. Так, в ноябре 2000 года, на восьмом всемирном конгрессе эконометрического сообщества, Фрэнсис Дайболд представил доклад под названием “Динамические факторные модели на основе больших данных для макроэкономических измерений и прогнозирования” , в котором утверждал следующее: «В последнее время наука столкнулась с феноменом больших данных и извлекла из них выгоду. Большие данные – это рост количества (а иногда и качества) доступных и потенциально важных данных, который является следствием высоких достижений в области записи и хранения информации».
В одном из недавних интервью 2021 он сказал следующее: “Я наткнулся на термин «Большие данные» достаточно невинно, во время обсуждения двух докладов, которые были представлены вместе с моим на восьмом Всемирном конгрессе Эконометрического общества. В этих докладах использовался новый подход к макроэкономическим динамическим факторным моделям (ДФМ): простым статистическим моделям, в которых вариации потенциально большого набора серийно коррелированных наблюдаемых переменных частично обусловлены их зависимостью от небольшого набора базовых серийно коррелированных латентных переменных, или «факторов». ДФМ популярны в динамических экономических контекстах, в которых наблюдаемые переменные часто движутся близко друг к другу”.

Весь текст будет доступен после покупки

1. Geron, A. (2017). Hands-On Machine Learning with Scikit-Learn and TensorFlow : Concepts, Tools, and Techniques to Build Intelligent Systems (Vol. First edition). Sebastopol, CA: O'Reilly Media[2].
2. Han, J., Kamber, M., Pei, J. Data Mining: Concepts and Techniques, Third Edition. – Morgan Kaufmann Publishers, 2011. – 740 pp.[2]
3. Hilpisch, Y. (2014). Python for Finance : Analyze Big Financial Data (Vol. First edition). Sebastopol, CA: O'Reilly Media[2].
4. Kirk, M. (2015). Thoughtful Machine Learning with Python : A Test-Driven Approach. Sebastopol: O'Reilly Media[2].
5. McKinney, W. (2018). Python for Data Analysis : Data Wrangling with Pandas, NumPy, and IPython (Vol. Second edition). Sebastopol, CA: O'Reilly Media[2].
6. Varian, H. R. (2014). Big data: New tricks for econometrics. Journal of Economic Perspectives, 28(2), 3-28[3].
7. Einav, L., & Levin, J. (2014). Economics in the age of big data. Science, 346(6210), 1243089[3].
8. Athey, S. (2017). Beyond prediction: Using big data for policy problems. Science, 355(6324), 483-485[3].
9. Mullainathan, S., & Spiess, J. (2017). Machine learning: an applied econometric approach. Journal of Economic Perspectives, 31(2), 87-106[3].
10. Bajari, P., Nekipelov, D., Ryan, S. P., & Yang, M. (2015). Machine learning methods for demand estimation. American Economic Review, 105(5), 481-85[3].
11. Гобарева Я.Л., Городецкая О.Ю., Николаенкова М.С. "Bigdata: большой потенциал управления рисками".
12. Бобылева А.З., Халин В.Г. "Цифровизация и большие данные в управлении государственными финансами".

Весь текст будет доступен после покупки