Обработка текста с помощью нейросети в направлении авторства

ВВЕДЕНИЕ 3
ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ОБРАБОТКИ ТЕКСТА В НАПРАВЛЕНИИ АВТОРСТВА 6
1.1 История развития искусственного интеллекта. Обзор популярных нейросетей в России 6
1.2 Обзор литературы в направлении авторства 9
1.3 Основные методы идентификации автора 17
1.4 Этапы работы нейросети. Сбор и подготовка данных для обучения нейросети 23
1.4 Классификация нейронных сетей 26
1.5 Оценка результатов и качества работы нейросети 32
Выводы к главе 1 36
ГЛАВА 2. ПРАКТИЧЕСКАЯ ЧАСТЬ 37
2.1 Python 37
2.2 Colaboratory 42
2.3 Задание на обработку текста 45
2.4 Подготовка данных 47
2.5 Создание обучающей и проверочной выборки 52
2.6 Обучение нейросети 57
Выводы к главе 2 59
ЗАКЛЮЧЕНИЕ 61
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 62

Весь текст будет доступен после покупки

Современный мир очень быстро меняется, и с каждым годом он становится все сложнее. Это связано как с ростом военных конфликтов, расовых и этнических конфликтов, борьбы за равноправие полов и всеобщей толерантности, так и с технологическими явлениями, такими как роботизация, большие данные, виртуальная и дополненная реальность и расширение сферы жизни человека.
Определенно, использование искусственного интеллекта в повседневной и профессиональной жизни стал одной из основных тем в области технологий в 2022 году. Искусственный интеллект (ИИ) включает в себя такие методы и технологии, как обработка естественного языка, классификация данных, распознавание образов и другие функции, которые обычно требуют интеллектуальных способностей человека. Нейронные сети — это важная технология искусственного интеллекта, которая позволяет компьютерам обучаться на основе опыта, имитируя работу нейронов в головном мозге.

Весь текст будет доступен после покупки

ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ОБРАБОТКИ ТЕКСТА В НАПРАВЛЕНИИ АВТОРСТВА
В данной главе были проведены теоретические исследования по обработке текста в направлении авторства при помощи нейросетей. Был сделан обзор статей по теме диссертационной работы, исследованы основные методы идентификации автора, приведены этапы работы нейронных сетей, также их классификация и архитектура.
1.1 История развития искусственного интеллекта. Обзор популярных нейросетей в России
В последние годы цифровые технологии растут с беспрецедентной скоростью и проникают в самые разные области общественной жизни. Когда эти технологии используются в различных областях, таких как медицина, транспорт, сельское хозяйство, розничная торговля, безопасность и другие, они незаметно влияют на наше повседневное существование и могут полностью изменить наше будущее. Поэтому можно говорить о цифровой трансформации общества. Эта трансформация проявляется в появлении новых способов коммуникации и структур виртуального мира, таких как Интернет людей (IoP — Интернет людей). Этот процесс включает в себя оцифровку культурного и научного наследия, например, создание электронных библиотек, музеев и изданий; проведение общественных мероприятий в Интернете, таких как онлайн-трансляции, веб-конференции и т. д.; и, наконец, распространение социальных сетей. В результате этого процесса возникает электронное государство.
Цифровизация проникает также в сферу творчества, где искусственный интеллект уже не просто используется как инструмент. Он все чаще становится соавтором в том, что раньше было прерогативой человека. Алгоритмы, используемые для параметрической архитектуры, генеративного дизайна одежды и процедурных видеоигр, в последнее время расширили творческие возможности дизайнеров.
В настоящее время современные системы извлекают огромные объемы данных, которые человеческий мозг уже не может обрабатывать и не в состоянии полноценно использовать их в своей деятельности. Именно здесь искусственный интеллект и машинное обучение могут выполнять вещи, которые люди не могут сделать, такие как корреляция, прогнозы, моделирование и сбор знаний в огромных объемах.
История данной технологии очень интересна, потому что она постоянно развивается. Начиная с 1950-х годов, искусственный интеллект приобрел свое начало на конференции в Дартмутском колледже. то мероприятие стало отправной точкой для формирования области науки, посвященной искусственному интеллекту, включая вопросы о способности алгоритмов к созданию творческих произведений и научных открытий. В начале 2000-х годов на Западе активно обсуждались возможности искусственного интеллекта в творческой сфере. Некоторые ученые утверждали, что компьютеры не способны быть творцами из-за того, что их функционирование все равно зависит от программ, созданных людьми. Таким образом, сторонники этой точки зрения считали изучение этой области бесполезным занятием.
Однако с течением времени стало очевидно, что большинство людей ошибались. Ученые, занимающиеся этой областью, достигли значительных успехов. Если в начале 2000-х они стремились воплотить идеи создания произведений с использованием нейросетей на практике, то уже к середине 2010-х годов им удалось представить такие работы публично. Французы создали систему искусственного интеллекта под названием Flow Machines, которая, опираясь на определенный музыкальный жанр или исполнителя, генерирует новые произведения. Хотя в то время система не могла писать тексты, созданная музыка была очень похожа на исходную основу для творчества.
История развития машинного началась еще в середине прошлого века, но одним из ключевых моментов в развитии стал период середины 2000-х годов, когда Джеффри Хинтон разработал новые методы обучения, способные эффективно обрабатывать большие объемы данных и обучать глубокие нейронные сети с множеством слоев. Увеличение интереса к нейронным сетям было стимулировано улучшением вычислительной мощности компьютеров и доступностью огромных объемов данных. В добавок появились новые инструменты для создания, обучения и применения нейронных сетей, что сделало эту технологию более доступной для широкого круга пользователей. В настоящее время нейронные сети широко применяются в различных областях, таких как распознавание речи, обработка фото- и видеоматериалов и другие. Далее были рассмотрены несколько самых популярных нейронных сетей в России к 2023 году.

Весь текст будет доступен после покупки

1. Батура Т. В. Формальные методы определения авторства текстов //Вестник Новосибирского государственного университета. Серия: Информационные технологии. – 2012. – Т. 10. – №. 4. – С. 81-94.
2. Батура Т. В. Формальные методы установления авторства текстов и их реализация в программных продуктах //Программные продукты и системы. – 2013. – №. 4. – С. 286-295.
3. Бондарев Д. Искусство искусственного интеллекта: кого считать автором в эпоху творчества нейросетей // НОЖ. – 2020. – 05.07. – URL: https://knife.media/ai-art-main-question/ (дата обращения 18.01.2024).
4. Гурова Е. И. Методики атрибуции авторства в современной отечественной филологии //Новый филологический вестник. – 2016. – №. 3 (38). – С. 29-44.
5. Демиденко Л. Р. Применение нейросетевых алгоритмов для определения авторства текста на основе различных метрик и методов лингвистического анализа. – 2019.
6. Джулли А., Пал С. Библиотека Keras–инструмент глубокого обучения. Реализация нейронных сетей с помощью библиотек Theano и TensorFlow. – Litres, 2022.
7. Искусственный интеллект как способ создания нового контента. URL: https://cyberleninka.ru/article/n/iskusstvennyy-intellekt-kak-sposob-sozdaniya-novogo-kontenta (дата обращения 18.01.2024)
8. Кукушкина О. В., Поликарпов А. А., Хмелёв Д. В. Определение авторства текста с использованием буквенной и грамматической информации //Проблемы передачи информации. – 2001. – Т. 37. – №. 2. – С. 96-109.

Весь текст будет доступен после покупки