Машинное обучение энергоэффективности.

Введение 4
1 Машинное обучение 6
1.1 Работа с исходными данными 10
1.2 Типы методов машинного обучения 11
1.2.1 Машинное обучение с учителем 11
1.2.2 Машинное обучение без учителя 13
1.3 Методы машинного обучения с учителем 15
1.3.1 Метод случайного леса 15
1.3.2 Метод градиентный бустинг 18
1.3.3 Метод k-ближайших соседей 21
1.3.4 Метод опорных векторов 24
1.3.5 Метод линейной регрессии 26
1.5 Вывод 28
2 Выявление аномальных и недостающих значений. Подготовка данных 31
2.1 Вывод 35
3 Разведочный анализ данных и создание признаков 36
3.1 Разведочный анализ данных и создание признаков 36
3.2 Вывод 48
4 Исследование моделей 49
4.1 Выбор оптимальной модели машинного обучения с учителем 49
4.2 Вывод 53
5 Исследование важности признаков и ошибочных прогнозов 55
5.1 Вывод 64
Заключение 65
Список литературы 66
Приложения

Весь текст будет доступен после покупки

На данный момент человечество все чаще сталкивается с проблемой обработки информации и не успевает проводить ее анализ. Поток данных каждый день увеличивается, а вместе с ними растет количество ошибок, аномалий. Для решения этой проблемы я применил метод машинного обучения с управляемой регрессией для анализа энергоэффективности зданий на примере исторических данных Нью-Йорка, которые содержат множество пропусков, неверных и выбивающихся значений. С помощью инструмента Python была проведена обработка исходной базы данных, выявлена взаимосвязь между параметрами, построена модель с обучающими и тестовыми значениями, в которой достигнут баланс между ее недостаточной и чрезмерной обучаемостью.
Область машинного обучения (machine learning - ml) фокусируется на разработке систем, которые учатся и развиваются на основе данных, получаемых ими. Искусственный интеллект (ИИ) охватывает компьютерные системы, имитирующие человеческий интеллект. Хотя термины машинного обучения и искусственного интеллекта часто используются взаимозаменяемо, они не являются синонимами. Суть отличия заключается в том, что машинное обучение всегда включает в себя искусственный интеллект, в то время как искусственный интеллект не всегда включает машинное обучение.
На данный момент, компьютеры и люди тесно сотрудничают друг с другом. При использовании банковских услуг, совершении онлайн-покупок или общении в социальных сетях, алгоритмы машинного обучения помогают улучшить этот процесс, сделать его более удобным, эффективным и безопасным. Технологии машинного обучения развиваются очень быстро, а то, что мы видим сегодня, всего лишь малая часть того, что их возможности могут предложить в будущем.
Использование методов машинного обучения (ML) для повышения эффективности работы оборудования в электроэнергетике все чаще находит применение и показывает свою эффективность [10].

Весь текст будет доступен после покупки

1 Машинное обучение

Машинное обучение (Machine Learning, ML) – это, ключевое направление в области искусственного интеллекта, которое позволяет компьютерным системам учиться и делать прогнозы на основе данных, не используя явные инструкции программирования. В области машинного обучения система обучается на примерах и пытается выявить закономерности и общие шаблоны в данных, чтобы предсказывать результаты на новых данных.
Искусственный интеллект (Artificial Intelligence, AI) охватывает более широкий спектр технологий, которые пытаются воссоздать человеческий интеллект. Машинное обучение является одним из подходов к достижению целей искусственного интеллекта.
Важно помнить, что хотя машинное обучение тесно связано с искусственным интеллектом, они не являются полностью взаимозаменяемыми терминами. Иногда их использование может быть перепутано, но они представляют разные концепции и методы.
Без понимания для чего и как будет применено машинное обучения, нет практической значимости его применения. Для начала работы необходимо разобрать основные понятия по машинному обучению.
Датасеты. Датасеты представляют из себя обработанный и структурированный массив данных применяемых для дальнейшего обучения моделей, машинного обучения. После обработки массива данных и выбора целевых признаков, которые будут применены в качестве источников на обучающую и тестовую выборку. Их формирование происходит путем объединения образцов, представленных рядом характеристик, и соответствующего выбора им целевого критерия.
Признаки. Важно отметить, что признаки можно также называть переменными или атрибутами. Качество признаков существенно влияет на работу модели. Например, хорошо подобранные признаки могут значительно повысить точность прогнозирования. При выборе признаков для модели необходимо учитывать их важность, корреляцию между ними, а также возможные проблемы с пропущенными значениями. В итоге, хорошо подготовленные и разнообразные признаки могут сделать модель более точной и эффективной.

Весь текст будет доступен после покупки

1. Марченко А.Л., Python: большая книга примеров. – Москва.- 2023.-361 с
2. William M. Bolstad. Introduction to Bayesian Statistics, 2nd Edition // Wiley-Interscience; 2nd edition, 2017 - 620.
3. Хей Дж. Введение в методы байесовского статистического вывода. — М.: Финансы и статистика, 1987. – 335с.
4. Себастьян Рашка, Python и машинное обучение, 3-е издание. – 2021. – 848с.
5. Питер Флах Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных. - 2015. -400 с.
6. А.В. Кугаевских, Д.И. Муромцев, О.В. Кирсанова Классические методы машинного обучения, 2022. – 53с.
7. John Paul Mueller, Machine Learning For Dummies, 2nd Edition, - 2021. – 464 p.

Весь текст будет доступен после покупки