ПРЕДВАРИТЕЛЬНАЯ ПОДГОТОВКА ТЕКСТА В МАШИННОМ ПЕРЕВОДЕ

ВВЕДЕНИЕ 3
ГЛАВА 1. МАШИННЫЙ ПЕРЕВОД, ВИДЫ МАШИННОГО ПЕРЕВОДА
1.1 Машинный перевод на базе лингвистических правил 7
1.2 Статистический машинный перевод 10
1.3 Нейронный машинный перевод 13
1.4 Выводы по главе 1 15
ГЛАВА 2. ОБЩИЙ ОБЗОР ЗАДАЧ ПРЕДВАРИТЕЛЬНОЙ ПОДГОТОВКИ ТЕКСТА. 17
2.1 Нормализация текста 17
2.2 Токенизация 23
2.2.1 Токенизация слов без пробелов 24
2.3 Стемминг 27
2.3.1 Алгоритм Портера 28
2.4 Лемматизация 31
2.5 Распознавание именованных сущностей 36
2.5.1 Принцип работы NER 36
2.5.2 Методы распознавания именованных объектов 38
2.6 Выводы по главе 2 44
ЗАКЛЮЧЕНИЕ 46
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 47

Весь текст будет доступен после покупки

Задачи обработки текстов на естественном языке актуальна уже долгое время, за это время были разработаны методы решения задач информационного поиска, машинного перевода и т.д.
Появление и развитие технологий дало возможность машинного перевода - преобразование текста с одного естественного языка на другой эквивалентный по содержанию текст. Обработка естественного языка основывается на особенностях каждого языка. Многое зависит от принадлежности языка к тому или иному типу: флективный, агглютинативный, изолирующий (аморфный) или инкорпорирующий (полисинтетический). Кроме этого учитываются грамматические, фонетические и лексические особенности каждого языка.[1]
Модели по обработке естественного языка подстраивают под каждый обрабатываемый язык. Создаются и часто обновляются программы для понимания естественного языка. У каждой программы и модели есть свои задачи и методы их выполнения. Чтобы система могла определять естественный язык ей необходимо перевести его в понятный для компьютера язык, с этой целью существует огромное количество задач и этапов представляющих собой сложную структуру.

Весь текст будет доступен после покупки

Глава 1. Машинный перевод, виды машинного перевода
Машинный перевод (МП) - это перевод какого-либо текста с одного естественного языка на другой, выполняемый компьютером полностью или практически полностью. В ходе данного процесса на вход машины подается текст, словесная часть которого не сопровождается никакими дополнительными указаниями, а на выходе получается текст на другом языке, являющийся переводом входного, причем преобразование входного текста в выходной происходит без вмешательства человека (иногда допускается постредактирование).
Датой рождения машинного перевода как научного направления считается 1946 г., когда Уоррен Уивер, директор отделения естественных наук Рокфеллеровского фонда, в переписке с Эндрю Бутом и Норбертом Винером впервые сформулировал концепцию машинного перевода, которую несколько позже в 1949 г. развил в своем меморандуме “Translation”, адресованном фонду.

Весь текст будет доступен после покупки

1. Батура, Т. В. Математическая лингвистика и автоматическая обработка текстов : учеб. пособие / Т. В. Батура ; Новосиб. гос. ун-т. - Новосибирск : РИЦ НГУ, 2016. - 166 с.
2. Кан Д. А. Применение теории компьютерной семантики русского языка и статистических методов к построению системы машинного перевода: автореферат диссертации на соискание ученой степени кандидата физико-математических наук. Санкт- Петербург, 2011. – 15 с.
3. Калинин С.М. Обзор современных подходов к улучшению точности нейронного машинного перевода // Рема. 2017. №2. С. 70-79.
4. Марчук Ю.Н. Проблемы машинного перевода. М., 1983
5. Митренина О.В. Назад в 47-й: к 70-летию машинного перевода как научного направления // Вестник новосибирского государственного университета. 2017. № 3. С. 5-12
6. Мифтахова Р.Г. Основные факторы улучшения машинного перевода // Вестник Башкирского университета. 2015. С. 188-192
7. Мифтахова Р.Г., Морозкина Е.А. Машинный перевод. Нейроперевод. // Вестник Башкирского университета. 2019. №2. С. 497-502.
8. Первушин А.А., Проектирование и разработка программной системы графематичекого анализа текстов в русском языкt 2013 С.24-26
9. Плавинская Т.А., История и развитие машинного перевода в России и за рубежом XIII Всероссийская научно-практическая конференция молодых учёных «Диалог языков и культур: лингвистические и лингводидактические аспекты». Тверь, 29 апреля 2021 г.
10. Willett, P. (2006) The Porter stemming algorithm: then and now. Program: electronic library and information systems, 40 (3). pp. 219-223

Весь текст будет доступен после покупки