Машинное обучение в машинном переводе.

Оглавление
1. Введение 4
2. Подготовка набора данных 5
2.1 Описание набора данных 5
2.2 Обработка набора данных 6
2.3 Подготовка данных для машинного обучения 6
3. Теоретическая справка 8
3.1. DecisionTreeClassifier 8
3.2. Метод k-ближайших соседей 8
3.3. Долгая краткосрочная память (LSTM) 8
3.4. API 9
3.5. Метрики эффективности 10
4. Перевод (способ 1) 12
5. Результаты перевода (способ 1) 15
6. Перевод (способ 2) 19
7. Результаты перевода (способ 2) 20
8. Заключение 21
Список Литературы 22
Интернет-Ресурсы 22
Приложения 23
Приложение 1. Характеристики используемого компьютера. 23
Приложение 2. Коды программ 23

Весь текст будет доступен после покупки

В XXI веке большинство людей когда-либо пользовались такими сервисами как Яндекс.Переводчик или Google Translate. Эти сайты или приложения могут помочь во многих сферахжизни: учеба, работа, перевод инструкции, написанной на другом языке,помощь иностранному туристу. Подобные сервисы можно установить на каждый смартфон или даже на «умные» часы. Даже если память девайса заполнена всегда можно воспользоваться онлайн-переводчиком. Именно сейчас можно наблюдать, как с каждым годом компьютерный перевод становится все лучше и лучше. Предложения становятся грамматически более правильными, а словапо контексту более подходящими. Но как же это происходит?
Google Translate, Яндекс.Переводчик и другие подобные сервисы основаны на пересечении машинного обучения и математической лингвистики (обработка естественного языка – Natural Language Processing, NLP). В данной курсовой работе будет поднята именно тема машинного перевода в машинном обучении. Разработка будет вестись на языке программирования Python (Версия 3.7.1) на платформе Google Colaboratory и Jupyter Notebook.

Весь текст будет доступен после покупки

Подготовка метода набора данных
2.1 Описание набора данных
В качестве набора данных был выбран файл, в котором содержатся различные фразы на английском и русском языках. Начало датасета (см. Рисунок 1).

Рисунок 1
В начале датасета содержатся слова, а в конце уже предложения (см. Рисунок 2)

Рисунок 2
Файл содержит 399919 строк, из которых 0 строк с пропущенными значениями. Все строки имеют тип object (см. Приложение 2 «Перевод 1»). Результат работы программы, которая помогает отразить информацию о датасете можно увидеть на Рисунке 3.

Рисунок 3
2.2 Обработка набора данных
После необходимого анализа данных можно приступать к обработке файла. Необходимо разбить файл на 2 блока, один из которых будет содержать слова и предложения на английском языке, а другой соответственно на русском.
Кроме этого необходимо преобразовать текст к какому-то одному регистру, чтобы не было ошибок при считывании одинаковых слов, но написанных в разном регистре. Был выбран нижний регистр, как наиболее подходящий. Хотя при выборе верхнего регистра существенных изменений не было бы. Также была удалена пунктуация в предложениях.
2.3 Подготовка данных для машинного обучения
Для обработки естественного языка необходимо пройти несколько обязательных этапов. Обычно алгоритмы машинного обучения имеют дело с векторами в пространстве Rn. Текст разбивается на отдельные части — токены, которыми могут быть как символы, буквы, знаки препинания, так и слова, и даже целые предложения. Данный процесс называется токенизацией. Далее следует этап, когда каждый токен необходимо преобразовать в число, то есть на этом шаге происходит преобразование атрибутов исходного датасета в числовые признаки (векторизация текста). Существует несколько подходов векторизации. Однако в данной работе был выбран метод, называемый числовым кодированием.
Пример проведенного преобразования. Небезызвестное предложение из монолога пьесы «Гамлет» Уильяма Шекспира «to be or not to be» будет преобразована в вектор (см. Рисунок 4) с помощью функции encode_sequences (см. Приложение 2 «Перевод 1»).

Рисунок 4
Слово «to» преобразовалось в 1, «be» - 2, «or» - 3, «not» - 3. Подобным образом и произошла векторизация так называемого англо-русского словаря (датасета). Таким образом, датасет готов к обучению.

3. Теоретическая работы справка
3.1. DecisionTreeClassifier
Метод деревьев является одним из самых распространенных и понятных классификаторов. В качестве дерева рассматривается ацикличный граф, по которому производится классификация объектов. В узлах дерева находятся условия ветвления. Такой подход является нечисловым (символьным) алгоритмом.
3.2. Метод k-ближайших соседей
Данный метод является одним из самых простых классификаторов. Он основан на сходстве объектов, отсюда и пошло название. Объект будет определяться именно к тому классу, к которому определен ближайший к нему «сосед». В методе k-ближайших соседей к k соседям. Главным минусом данного метода является долгая итерация, что приводит к большому количеству времени, требуемому на прогонку кода.

Весь текст будет доступен после покупки

1. Коротеев М.В. Технологии анализа данных и машинное обучение // М: Финансовый университет при правительстве РФ, 2018.48 c
2. W. McKiney. Pandas: powerful Python data analysis toolkit, 2016, 1971 c

Интернет-Ресурсы
1. Нейронные сети: [Электронный ресурс].
URL: ошибка https://neurohive.io/ru (28.10.2020)
2. Github: [Электронный ресурс].
URL: https://github.com/ (05.11.2020)
3. IT библиотека: [Электронный ресурс].

Весь текст будет доступен после покупки