Система поиска на естественом языке в системе образовательно организации

ВВЕДЕНИЕ 1
1 ТЕОРЕТИЧЕСКИЕ ОСОБЕННОСТИ ПРОЦЕССА ОБРБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА 1
1.1 Модели обработки естественного языка: понятия, основные задачи и практическое применение 1
1.2 Этапы и методы процесса обработки естественного языка 5
1.2.1 Предобработка информации 6
1.2.2 Токенизация 6
1.2.3 Нормализация 9
1.2.4 Стеминг 10
1.2.5 Лемантизация 14
1.3 Векторизация текста 19
1.3.1 Прямое кодирование 20
1.3.2 Мешок слов 22
1.3.3 Tf-idf 22
1.3.4 Word2vec 24
2 АНАЛИЗ РАБОТЫ ВЕБ-СЕРВИСОВ ФГБОУ ВО БАЙКАЛЬСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА 1
2.1 Описание структуры веб-сервисов бгу и особенностей процесса взаимодействия с ними 2
2.2 Алгоритмы работы online-помощников 10
3. РАЗРАБОТКА ПРЕДЛОЖЕНИЙ ПО ОПТИМИЗАЦИИ ВЗАИМОДЕЙСТВИЯ ПОЛЬЗОВАТЕЛЯ С ВЕБ-РЕСУРСАМИ БГУ НА ОСНОВЕ ПРИМЕНЕНИЯ МЕТОДОВ ОБРАБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА 1
3.1. Выбор варианта обработки запросов 1
3.2. Структура разрабатываемой системы 6
ЗАКЛЮЧЕНИЕ 19
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ 22

Весь текст будет доступен после покупки

Современные технологии имеют широкую распространенность среди массы пользователей, которые не обладают глубокими познаниями в исполь-зовании компьютера или не имеют достаточно навыков в работе с информа-ционными системами. Отсюда возникает большая потребность в упрощении работы пользователя с системой. Пользователь, не обладающий широкими знаниями в том, как правильно работать с системой или как правильно дать ей команду необходимую для выполнения задания не должен помимо этого быть перегружен лишними знаниями по специальным способам взаимодей-ствия с инструментом. Для упрощения взаимодействия были предприняты действия по переводу простых пользовательских запросов на естественном языке в язык понятной машине, на общение при помощи команд или после-довательности символов, понятных для системы. NLP - Natural Language Processing, направление науки занимающееся способами обработки есте-ственного языка с целью провести взаимодействие ЭВМ и пользователя. NLP - относительно молодое направление в науки, но оно весьма востребовано в современном мире, так как сейчас во время популяризации информационных технологий, пользователями серьезных технологий становятся не только разбирающиеся пользователи, но и люди, для которых новые технологии являются элементом массовой культуры. Обработка естественной речи помо-гает людям в удобной и быстрой форме не только отдать приказ машине на выполнение какого-то поручения, но и получить быстрый ответ от самой си-стемы на нужный вопрос.[23]

Весь текст будет доступен после покупки

1 ТЕОРЕТИЧЕСКИЕ ОСОБЕННОСТИ ПРОЦЕССА ОБРБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА
Современные достижения в области обработки естественного языка предлагают разнообразие вариантов для получения наиболее оптимального результата при коммуникации человека с информационными технологиями. Выбор наиболее эффективного способа кодирования человеческой речи на понятный машинный язык выступает основной задачей исследований в дан-ной области. Это позволяет системе выбрать максимально соответствующий ответ или команду. Сегодня существует несколько основных способов обра-ботки информации, но в основном все они включают несколько основных этапов: этапа предобработки, этапа векторизации текста и этапа последую-щего получения результата в итоге полученных данных. Эти вопросы рас-крываются в данной главе.
1.1 Модели обработки естественного языка: понятия, основные задачи и практическое применение
В современном мире основной формой системного взаимодействия вы-ступает коммуникация, обмен информацией. Человечество создало различ-ные способы передачи, обработки и хранения информации. Письменная и устная речь в современных условиях является самым простым и распростра-ненным способом для взаимодействия не только между людьми, но и с ин-формационными системами, особенно ориентированными на большое число пользователей. Главным инструментом современного взаимодействия с про-граммой является родной язык, на котором говорит пользователь. Подкреп-ляющих примеров этому в современной жизни достаточно: простой поиск в любом браузере — это способ обработки информации на натуральном язы-ке; умные колонки, способные управлять множеством устройств в умном до-ме или просто дать пользователю информацию из интернета; нейронные сети типа ChatGPT тоже опираются на ту самую обработку человеческой речи; сервисы, которые позволяют нам бронировать авиабилеты, заказывать еду и многое другое. Таким образом, обработка устной и письменной речи сегодня становится обязательной для информационных систем массового использо-вания.
В настоящее время существуют разные модели обработки естественно-го языка, возможности которых позволяют:
- распознавать и воспроизводить устную и письменную речь;
- проводить морфологический разбор слова и исправлять граммати-ческие ошибки;
- отличать конец предложения от сокращения слова;
- определять язык и эмоциональный окрас текста;
- понимать тематику материалов, выделять их суть и переписывать без потери смысла;
- убирать дублирующуюся информацию и находить данные по мет-кам.
Для исследования способа взаимодействия системы и человека развива-ется исследовательское направление, название которого переводится с ан-глийского языка как «обработка естественного языка» - Natural Language Processing (NLP).[18]
Научная область NLP охватывает два направления: гуманитарная лингвистика и инновационные технологии искусственного интеллекта. Ос-новное к чему стремится NLP – это создать условия для понимания компью-тером смысла речи человека, что, в свою очередь, определяет сложности и поле для исследований данной задачи, из-за особенностей предмета анализа:
- Человеческий язык наделён смыслом, осмысленностью. Соответствен-но правильно закодированная, отражающая этот смыл информация, и в пра-вильном смысле раскодированная информация становится достаточно слож-ным объектом для исследования. Это не просто звуки и буквы, а способ пе-редачи информации, которую нужно интерпретировать.
- Человек наделяет фразы особенными красками, произнося их с раз-личными интонациями, акцентом, ударениями, темп речи может быть слиш-ком быстрым, и некоторые слова «съедаются». Люди способны понимать друг друга благодаря лингвистическому опыту и образному мышлению. У машин другой алгоритм для понимания смысла, где требуется обработка множества параметров.

Весь текст будет доступен после покупки

1 Богатырев Михаил Юрьевич, Коржук Николай Львович Анализ текстов естественного языка с применением многомерной кластеризации // Изве-стия ТулГУ. Технические науки. 2019. №9. URL: https://cyberleninka.ru/article/n/analiz-tekstov-estestvennogo-yazyka-s-primeneniem-mnogomernoy-klasterizatsii (дата обращения: 07.06.2024).
2 Бородин Александр Иванович, Вейнберг Роман Рафаилович, Литвишко Олег Валерьевич Методы обработки текста при создании чат-ботов // Хуманитарни Балкански изследвания. 2019. №3 (5). URL: https://cyberleninka.ru/article/n/metody-obrabotki-teksta-pri-sozdanii-chat-botov (дата обращения: 04.06.2024).
3 Ваганова П.А. СОВРЕМЕННЫЕ СПОСОБЫ ОБРАБОТКИ ЗАПРОСОВ В СЛУЖБУ ТЕХНИЧЕСКОЙ ПОДДЕРЖКИ // Вестник науки. 2024. №6 (75). URL: https://cyberleninka.ru/article/n/sovremennye-sposoby-obrabotki-zaprosov-v-sluzhbu-tehnicheskoy-podderzhki (дата обращения: 07.06.2024).
4 Гайсин А.Э. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ АВТОМАТИЧЕ-СКОГО ТЕКСТОВОГО АНАЛИЗА // Вестник науки. 2023. №6 (63). URL: https://cyberleninka.ru/article/n/analiz-suschestvuyuschih-metodov-avtomaticheskogo-tekstovogo-analiza (дата обращения: 10.06.2024).
5 Гальцов В.П. ИНТЕЛЛЕКТУАЛЬНЫЕ ЧАТ-БОТЫ, ТЕХНОЛОГИИ ИХ СОЗДАНИЯ И ПРИМЕНЕНИЕ // Вестник науки. 2019. №6 (15). URL: https://cyberleninka.ru/article/n/intellektualnye-chat-boty-tehnologii-ih-sozdaniya-i-primenenie (дата обращения: 07.06.2024).
6 Жаксыбаев Д.О., Мизамова Г.Н. АЛГОРИТМЫ ОБРАБОТКИ ЕСТЕ-СТВЕННОГО ЯЗЫКА ДЛЯ ПОНИМАНИЯ СЕМАНТИКИ ТЕКСТА // Труды ИСП РАН. 2022. №1. URL: https://cyberleninka.ru/article/n/algoritmy-obrabotki-estestvennogo-yazyka-dlya-ponimaniya-semantiki-teksta (дата обращения: 04.06.2024).

Весь текст будет доступен после покупки