ДАНЕЛЮС АЛЬГИРДАС РАЛИС

Вильнюсский университет

МАШИННЫЙ ПЕРЕВОД НА ЛИТОВСКИЙ ЯЗЫК¹

КЛЮЧЕВЫЕ СЛОВА: литовский язык, история, компьютерная лингвистика, машинный перевод, нейронные сети, искусственный интеллект.

ВВЕДЕНИЕ

Сегодня всё больше текстов переводят компьютеры. Такой автоматический компьютерный перевод обычно называют машинным переводом (МП). Как правило, машинный перевод выполняют, чтобы как можно быстрее разобраться в огромном потоке информации на разных языках, а также чтобы как можно шире распространить собственную информацию. Обмен электронной информацией между народами и языками становится важной частью повседневной жизни, открывает новые возможности для нашего языка и ставит перед ним новые задачи и проблемы.

Термин «машинный перевод» (англ. machine translation) в середине прошлого века первым употребил Уоррен Уивер, предложивший использовать недавно появившиеся компьютеры для перевода текстов (Weaver 1949: 1). У. Уивер предлагал рассматривать текст, написанный на другом языке, как криптограмму, которую можно расшифровать. Криптографические достижения британских и американских специалистов в недавно закончившейся Второй мировой войне вселяли оптимизм. Тогда искренне верили, что электронные машины за несколько лет помогут преодолеть проклятие Вавилонской башни.

К сожалению, перевод развивался медленно, а качество машинного перевода и близко не достигало качества человеческого перевода. Спустя семьдесят лет, после несомненных успехов и разочарований, после множества проделанных работ в сообществе машинного перевода вновь преобладают оптимистические настроения. На этот раз надежды возлагаются на искусственные нейронные сети и быстрый прогресс в создании искусственного интеллекта.

Машинный перевод не обошёл стороной и литовский язык. Сегодня легкодоступные онлайн-средства машинного перевода переводят с наиболее распространённых языков на литовский и наоборот. Качество перевода большинства средств пока довольно низкое, переведённые ими тексты необходимо редактировать. Более высоким качеством выделяется только средство перевода Google Translate², в котором начали использовать

¹ Статья подготовлена по докладу «Машинный перевод на литовский язык», представленному в Вильнюсе 29 сентября 2017 г. на 24-й международной конференции имени Йонаса Яблонскиса «Цифровые языковые ресурсы, направления их развития и возможности применения».

² Доступ в интернете https://translate.google.com.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 2

технологии нейронного перевода. Большинство предложений, переведённых с помощью этого средства, сохраняют смысл, заложенный в оригинале.

Машинный перевод широко используется для распространения информации на других языках. Нередко результаты машинного перевода безответственно размещают в электронном пространстве, вовсе не редактируя. Последствия таких действий уже заметны: интернет пестрит некачественными текстами на литовском языке с искажённой информацией, автоматически сгенерированными той или иной программой машинного перевода³. Постепенно такие тексты могут проникнуть и в корпуса текстов. Машинный перевод уже стал повседневной реальностью, порой удивляющей, а порой и бросающейся в глаза, которая заслуживает не только более пристального внимания лингвистов, но и более значительного их участия в развитии машинного перевода.

В этой статье кратко изложена история машинного перевода (МП), представлены некоторые идеи, повлиявшие на развитие МП. Приведены результаты применения различных технологий перевода для литовского языка. Анализируются возможности применения МП для литовского языка с использованием правил, статистических и нейронных методов. Ввиду недостатка места не рассматриваются попытки объединить несколько этих методов в одной системе перевода.

1. ИСТОКИ МАШИННОГО ПЕРЕВОДА

Хороший перевод с другого языка всегда представляет собой определённую интеллектуальную задачу для человека, а перевод никогда не был лёгким занятием. Неудивительно, что предпринимались попытки как-либо автоматизировать перевод. В 1932–1935 гг. во Франции инженер Жорж Арструни изобрёл и сконструировал универсальное механическое устройство, которое он назвал механическим мозгом (фр. cerveau mécanique); среди прочих функций оно могло переводить набираемый текст на несколько языков (Hutchins 2004a: 12). В этом электромеханическом устройстве вращалась длинная (до 40 метров) лента памяти, изготовленная из гибкого картона. На ней был записан многоязычный словарь, включавший до нескольких десятков тысяч слов. Французское слово, набранное на клавиатуре, механически кодировалось, и по этому коду лента памяти поворачивалась в нужное положение. Через несколько секунд устройство показывало перевод введённого слова (Daumas 1965: 294–295). Устройство демонстрировалось на Всемирной выставке в Париже в 1937 г., вызвало большой интерес и было удостоено Гран-при. Фактически это был первый в мире

³ Джонатан Свифт (Jonathan Swift) в своих «Путешествиях Гулливера» сатирически описывает машину, составляющую бессмысленные комбинации слов, которые неустанно и прилежно записывались в книги. В наши дни такую же бессмыслицу можно произвести гораздо быстрее...

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 3

действующий механический словарь. Г. Арструни впоследствии продолжал совершенствовать своё устройство, однако механические проблемы и начавшаяся Вторая мировая война прервали работу.

В 1933 г. в Советском Союзе Пётр Смирнов-Троянский получил авторское свидетельство на электромеханическую переводческую машину⁴. Хотя эта машина так и не была изготовлена, изобретатель сформулировал множество ценных идей машинного перевода, которые были воплощены лишь много лет спустя, с появлением компьютеров. П. Смирнов-Троянский говорил по-русски и потому хорошо понимал особенности флективных языков. Он предложил разделить процесс перевода на три этапа: на первом этапе человек должен свести текст к леммам и снабдить их морфолого-синтаксическими метками (этап анализа); затем на втором этапе машина автоматически находит леммы одного или нескольких языков перевода и присваивает им те же метки (этап преобразования); на третьем этапе редактор на основе переводных лемм и их меток должен подготовить связный текст перевода (этап генерации). П. Смирнов-Троянский также предлагал различные методы перевода синонимов, омонимов и идиом. Идеи П. Смирнова-Троянского не были оценены на его родине; он так и не дожил до эпохи компьютеров⁵, однако идеи изобретателя не были забыты и впоследствии стали известны и на Западе.

Эра практического машинного перевода началась с появлением компьютеров. В 1947 г. У. Уивер обратился в письме к выдающемуся лингвисту и создателю компьютеров Норберту Винеру с вопросом, можно ли применить новейшие достижения криптографии и только что появившиеся компьютеры⁶ для перевода языков. У. Уивер утверждал, что любой текст на русском языке можно рассматривать как английское сообщение, закодированное буквами кириллицы. Ему казалось, что компьютеры могут просто расшифровать это сообщение. К сожалению, ответ Н. Винера был скептическим.

В 1949 г. У. Уивер разослал более широкой аудитории меморандум, в котором предложил использовать компьютеры для перевода текстов (Weaver 1949: 7)⁷. В то время в различных американских и британских лабораториях преобладали идеи простого дословного машинного перевода. Учёный был уверен, что компьютеры способны переводить гораздо совершеннее. В меморандуме У. Уивер предложил четыре направления решения и исследования проблем перевода. Прежде всего он предложил статистически анализировать ближайшее окружение переводимого слова, чтобы решить проблемы полисемии. Это наблюдение сегодня лежит в основе статистического машинного перевода. Второе предложение основывалось на предположении, что в языке

⁴ В авторском свидетельстве это средство названо «машиной для подбора и печати слов при переводе с одного языка на другой или одновременно на несколько языков».

⁵ П. Смирнов-Троянский умер в 1950 г.

⁶ Первый британский электронный компьютер Colossus начал работать в начале 1944 г., первый американский электронный цифровой компьютер ENIAC был построен в конце 1945 г. Первый советский компьютер МЭСМ был построен в 1950 г.

⁷ В этом меморандуме У. Уивера быстро прижился термин машинный перевод (англ. machine translation).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 4

содержит логические элементы, поэтому при использовании моделей нейронных сетей (McCulloch, Pitts 1943: 115–133) должно быть возможно вывести перевод из предпосылок, имеющихся в языке оригинала. Время показало гениальность этой идеи: сегодня нейронный метод машинного перевода обеспечивает наивысшее качество перевода. Третьим направлением решения проблем должно было стать применение методов криптографии к переводу языков. Через сорок лет это было реализовано в алгоритмах статистического машинного перевода. Чтобы проиллюстрировать четвертое предложение, W. Weaver нарисовал аллегорическую картину, на которой люди живут в высоких закрытых башнях, символизирующих разные языки. Людям кое-как удается общаться, перекрикиваясь через толстые стены башен. К счастью, у башен общее основание и подземелье: достаточно спуститься туда, и общаться должно стать легче. W. Weaver утверждал, что в языках мира заложена некая общая глубинная структура, которую еще предстоит раскрыть. Последнее предложение ученого побудило заняться поиском и конструированием универсального языка — интерлингвы машинного перевода⁸.

После меморандума W. Weaver машинный перевод быстро набрал обороты. В 1954 г. в Нью-Йорке публично продемонстрировали систему машинного перевода, разработанную совместно корпорацией IBM и Джорджтаунским университетом. Перевод выполнялся с русского языка на английский. В системе было запрограммировано всего шесть грамматических правил, а для перевода использовалось около 250 слов (Hutchins 2004b: 102). Система была ориентирована на тематику органической химии, а примеры для перевода были тщательно подготовлены заранее. После эксперимента надеялись, что через несколько лет машины будут переводить превосходно; на продолжение работ было выделено щедрое финансирование. МП стремительно развивался в Соединенных Штатах Америки (США) и Советском Союзе с целью получить стратегическое преимущество в холодной войне. Самыми популярными языками перевода были русский и английский.

2. ПРАВИЛЬНЫЙ МАШИННЫЙ ПЕРЕВОД

В середине пятидесятых годов прошлого века появились системы машинного (компьютерного) перевода, которые стали называть правиловыми (англ. rule-based). Их разрабатывали, исходя из представления о том, что язык можно описать с помощью набора определенных правил (в том числе грамматических). При использовании этого метода предложение на языке оригинала анализируется до некоторого выбранного уровня, устанавливается его структура, которая преобразуется по разработанным правилам в эквивалентную структуру на языке перевода, на основе которой генерируется предложение на языке перевода. Структуры предложений в разных языках могут сильно различаться и обладать теми или иными особенностями, которые должны быть отражены в системе МП.

⁸ Не следует путать с интерлингвами естественных языков — эсперанто, идо, волапюком и т. п.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 5

системе. Проблемы представления синтаксических структур предложений литовского языка, пригодного для машинного перевода, исследовала Daiva Šveikauskienė (2005: 411–417). Существует несколько разновидностей систем правилового МП, различающихся глубиной анализа (рис. 1⁹). Чем глубже анализ предложения, тем проще преобразование. В идеале при анализе текста до уровня интерлингвы преобразование вообще не потребовалось бы: интерлингвистическое представление текста должно было бы быть одинаковым на всех языках.

РИС. 1. Треугольник Вокуа для правильного машинного перевода

Проблемы правильного МП пытались решать, применяя как эмпирические, так и лингвистические методы. В лагере эмпириков наиболее популярным был метод прямого перевода. При таком переводе между двумя языками используются только словарь и простые программные правила; анализ языков или синтаксическая реорганизация практически не выполняются (такой метод соответствует самому низкому уровню на рис. 1). В США в пятидесятые годы прошлого века группа исследователей под руководством Erwin Reifler создавала специальные словари для машинного перевода, в которых наряду с лексическими эквивалентами были приведены правила локального изменения порядка слов. Также приводились переводы многочисленных фраз и обобщающие понятия (англ. cover terms) для решения проблем полисемии. В 1964 г. начала работать система прямого перевода с русского на английский Mark II, созданная по заказу Военно-воздушных сил США. В ней использовался словарь E. Reifler, включавший более 170 000 слов (Reifler 1960: 312).

Лингвистические методы шире применялись в Джорджтаунском университете, где собрались многочисленные силы исследователей машинного перевода, разделившиеся на несколько групп, использовавших разные методы

⁹ Такие иллюстрации часто называют треугольником Вокуа; этот метод иллюстрирования предложил французский пионер машинного перевода Bernard Vauquois (1976: 335).

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 6

групп. В группе под руководством Майкла Заречнака была создана система Джорджтаунского автоматического перевода (англ. GAT – Georgetown Automatic Translation). В ней проводился трехуровневый анализ: морфологический (включавший также выявление идиом), синтаксический и синтагматический. Модифицированную систему GAT успешно начали использовать в Евратоме (Изпра, Италия) в 1963 г. и в Комиссии по атомной энергии США в 1964 г. Создание системы машинного перевода (МП) на основе интерлингвы заняло гораздо больше времени. Система МП KANT, обладавшая коммерческой ценностью, появилась только в последнем десятилетии прошлого века (Mitamura и др. 1991: 105–118). Систему использовали для перевода некоторых технических текстов. Интерлингва для выражения общеупотребительного языка так и не была создана.

На протяжении десятилетия после презентации системы МП IBM–Джорджтаун прилагались значительные усилия, чтобы существенно повысить качество машинного перевода¹⁰, однако прогресс был весьма незначительным. В 1966 г. в США был создан комитет ALPAC (англ. Automatic Language Processing Advisory Committee), который постановил, что в ближайшем будущем у МП нет перспектив, поскольку его качество низкое, а текст всё равно должен редактировать переводчик, затрачивая на это больше времени, чем на перевод без каких-либо машин. Комитет ALPAC не принял во внимание тот факт, что машинный перевод помогает переводить огромные объемы информации, а многих пользователей устраивает некачественный перевод, лишь приблизительно передающий смысл. После отрицательных выводов комитета финансирование проектов МП в США было практически прекращено на несколько десятилетий; финансирование сократилось и в других странах.

Несмотря на сложившееся скептическое отношение к МП, в этой области продолжался прогресс. Система перевода на основе правил SYSTRAN, разработку которой начали в США в 1968 г. (Toma 1977: 569–581), постоянно совершенствовалась и впоследствии стала коммерческой. Эту систему начали использовать в Министерстве обороны США, NASA, Евратоме, Европейской комиссии и во многих других организациях. Согласно коммерческому соглашению 1975 г. Европейская комиссия получила право совершенствовать систему для собственных нужд. Система достаточно хорошо переводила тексты из некоторых предметных областей на многие языки. С 2010 г. SYSTRAN начала использовать гибридные технологии. Достаточно хорошо работающие системы МП появились и в других странах: ARIANE (в Гренобле, Франция), похожая на неё система MU (в Киото, Япония), а также SUSY (в Саарбрюккене, Германия). Европейский проект EUROTRA (1982–1992 гг.), обошедшийся более чем в 50 000 000 ECU¹¹, завершился неудачей: сотни специалистов так и не создали работающую систему МП. Так начался серьезный кризис машинного перевода на основе правил. В последующие годы дело долго топталось на месте.

¹⁰ За этот период в США на разработку и совершенствование систем МП было потрачено около 20 млн долларов.

¹¹ В докладе Комиссии Европейских сообществ (англ. CEC – Commission of the European Communities) за 1994 г. приведены данные о финансировании EUROTRA: в 1982–1992 гг. Комиссия выделила на проект 37,5 млн ECU (CEC 1994: 3.10), а правительства разных стран дополнительно выделили более 20 млн ECU шестнадцати центрам EUROTRA (CEC 1994: A4.2).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 7

Перевод на основе правил появился в Литве только в этом веке. В 2003–2004 гг. система машинного перевода Česilko (Hajič и др. 2000: 10–12) была адаптирована для литовского языка (Homola, Rimkutė 2004: 77–81). В этот период Петр Гомола и Эрика Римкуте исследовали возможности машинного перевода этой системы между чешским и литовским языками. В 2005–2007 гг. Университет Витаутаса Великого осуществлял финансируемый Структурными фондами Европейского союза проект «Средство перевода информации в интернете». Структура проектируемой системы МП описана Видасом Даударовичюсом (2006: 7–18). Было создано общедоступное интернет-средство перевода с английского языка на литовский¹². Систему перевода предоставила российская компания PROMT. Часть языковых компонентов системы была подготовлена в Литве. Система отлично переводила лишь некоторые типы предложений; качественные переводы составляли меньшинство. В 2007 г. была проведена лингвистическая оценка этой системы МП (Rimkutė, Kovalevskaitė 2008: 257–264). Аудроне Даубарене и Грета Зиевзите (2013: 55–61) оценили соответствие переводов системы МП Университета Витаутаса Великого стандартам текстуальности (De Beaugrande, Dressler 1981: 3). В своей работе авторы установили, что исследованные тексты машинного перевода разных жанров из-за множества семантических ошибок не соответствовали критериям когерентности и некоторым другим стандартам текстуальности, поэтому такие переводы не могут считаться приемлемыми и информативными для читателя.

По мере того как проходили десятилетия и работа, по сути, топталась на месте, стало понятно, что язык — чрезвычайно сложное явление, которое очень трудно описать правилами. Для решения проблем многозначности и перевода анафор предлагалось использовать экстралингвистическую информацию об устройстве мира и его логике (Bar-Hillel 1958: 197–207). Однако такой систематизированной информации попросту не существовало, а формальное описание смысла текста казалось более сложной задачей, чем сам перевод. Было очевидно, что проблемы машинного перевода требовали революционных решений.

2. СТАТИСТИЧЕСКИЙ МАШИННЫЙ ПЕРЕВОД

В 1988 г. группа исследователей IBM (Brown и др. 1988: 71–76) предложила использовать для машинного перевода информацию, содержащуюся в параллельных корпусах, чтобы находить наиболее вероятные варианты перевода. Предложенная модель перевода основана на предположении, что в зашумленном канале происходит преобразование предложения на языке оригинала f в предложение e на языке перевода. Шум в канале статистически искажает предложение на языке оригинала f, поэтому на выходе канала можно получить разные предложения e — самой разной длины, имеющие тот или иной смысл на языке перевода либо вовсе лишенные смысла. Поскольку этот канал стремится переводить правильно, сквозь шум всё чаще проходят корректные варианты перевода.

¹² Доступ в интернете http://vertimas.vdu.lt/twsas/.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 8

В этой модели предполагается, что если в канал посылается предложение f, то наиболее подходящий вариант перевода ê среди всех e — это тот, условная вероятность появления которого на выходе канала p(e|f) максимальна, то есть

ê = argmax_e p(e|f).

Здесь возникает проблема: чтобы найти лучший вариант перевода ê, необходимо перебрать не только все возможные предложения на языке перевода, но и всевозможные перестановки слов в них. Подсчитать такое количество вероятностей очень трудно. Применив теорему Байеса, получаем более простое для вычисления эквивалентное выражение (Koehn и др. 2003: 127):

argmax_e p(e|f) = argmax_e p(f|e) p(e)

Ši lygtis yra pamatinė statistinio mašininio vertimo lygtis (Brown ir kt. 1993). Joje sąlyginė tikimybė p(f|e) parodo tikimybę, kad kanalu buvo pasiųstas sakinys f, jei išėjime pasirodė sakinys e. Šis lygties narys vadinamas vertimo modeliu, kuris apskaičiuojamas iš dvikalbių tekstynų. Antrasis lygties narys p(e) parodo sakinio e tikimybę vertimo kalboje. Šis narys aprašo kalbos modelį, kuris apskaičiuojamas iš vienkalbių vertimo kalbos tekstynų¹³.

РИС. 2. Треугольник Вокуа статистического машинного перевода

Предложенный учёными IBM метод перевода сразу же стал конкурировать с переводом на основе правил по качеству перевода. Разработчиков систем статистического МП привлекала возможность перевода на множество языков без каких-либо знаний о переводе и грамматике: достаточно было обучить создаваемые системы на имеющихся корпусах. При классическом статистическом переводе никакого

¹³ Языковая модель сокращает объём вычислений, поскольку сразу позволяет отсеивать предложения, не встречающиеся в корпусах, помогает выбрать наиболее беглый перевод, а также косвенно показывает, почему художественную литературу лучше переводит переводчик(ца), для которого(ой) язык перевода является родным.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 9

анализ предложений на исходном языке или синтез предложений на языке перевода (рис. 2): перевод выполняется только на основе вероятностей, определённых при обучении системы. Предложенные Питером Брауном и его коллегами модели расположения слов в переводах, состоявшие из пяти моделей, были недостаточно гибкими: они позволяли переводить слово исходного языка одним или несколькими словами либо вовсе не переводить его. В 2003 г. была предложена (P. Koehn и др. 2003: 127–133) более гибкая модель машинного перевода, способная переводить и фразы исходного языка.

В этот период стремительно совершенствовались методы автоматической оценки качества машинного перевода, поскольку было очень важно быстро узнавать, какая версия настраиваемой системы машинного перевода переводит лучше всего. Также стремились к тому, чтобы такая оценка позволяла объективно сравнивать качество перевода различных систем. Со временем одной из самых популярных стала метрика BLEU (акроним английского выражения bilingual evaluation understudy) (Papineni и др. 2002: 311–318), в которой автоматически сравнивается, насколько текст машинного перевода отличается от человеческого перевода. Эта метрика не учитывает понятность текста или грамматическую правильность: в ней подсчитываются только точно совпадающие слова или фразы. При подсчёте метрики совпадающие фразы имеют относительно больший статистический вес, чем отдельные совпадающие слова. В зависимости от задачи для оценки качества МП часто используются и другие метрики, обладающие теми или иными достоинствами: F-measure, METEOR (Banerjee, Lavie 2005: 62–72), NIST (Doddington 2002: 138–145), TER (Snover и др. 2006: 223–231) и многие другие.

Несмотря на популярность статистического МП, всё очевиднее становилась ограниченность этого метода при переводе на морфологически богатые (флективные) языки. В параллельных корпусах флективных языков обычно отсутствовали все возможные формы фраз или даже отдельных редких слов. Если какая-либо из возможных форм не включалась в обучение системы МП, эта форма и не переводилась. Этот недостаток классического МП обусловлен нехваткой данных, из-за которой после обучения системы получается разреженная матрица вероятностей перевода. Стремясь преодолеть этот недостаток, Филипп Кёэн и Хьеу Хоанг предложили факторизованный статистический машинный перевод (Koehn, Hoang 2007a: 868–876). Было предложено добавить в систему перевода лингвистическую информацию, аннотируя параллельные корпуса метками лингвистического анализа, которые затем использовались для обучения системы. В 2007 г. П. Кёэн и его коллеги представили широкой публике полнофункциональный пакет статистического МП Moses с открытым исходным кодом (Koehn и др. 2007b: 177–180). Применение факторизованного статистического МП несколько улучшало качество перевода на флективные языки, обычно на 1–2 процента BLEU (Bojar 2007: 235–236; Skadinš и др. 2010: 128–129).

С 25 сентября 2008 г. система статистического МП Google Translate стала переводить и на литовский язык. В 2012–2014 гг. Вильнюсский университет реализовывал проект Структурных фондов Европейского союза

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 10

финансируемый проект «Создание системы статистического машинного перевода с английского на литовский и с литовского на английский, а также с французского на литовский и с литовского на французский». Основную часть работ по проекту выполнила компания UAB Tilde. Была создана система машинного перевода ALPMAVIS, и для общественности стала доступна общедоступная интернет-служба статистического машинного перевода (https://www.versti.eu/)¹⁴. Согласно данным тестирования, проведённого в 2014 году, оценки качества перевода текстов общего характера (по метрике BLEU) более чем вдвое превысили результаты литовской системы перевода на основе правил и практически сравнялись с результатами системы перевода Google Translate. ALPMAVIS особенно хорошо переводит юридические тексты.

3. КАЧЕСТВО МАШИННОГО ПЕРЕВОДА НА ЛИТОВСКИЙ ЯЗЫК

С появлением нового языкового явления — текстов на литовском языке, переведённых машиной, — стало интересно оценить качество такого перевода с точки зрения литературного языка. Для оценки был выбран текст общего характера, поскольку он лучше отражает литературный язык, а для измерения качества перевода использовалась метрика BLEU.

Для тестирования качества перевода был выбран опубликованный в интернете текст общего характера¹⁵.

Расчёты BLEU выполнены на более длинном документе, чем приведённые ниже отрывки, поскольку оценки BLEU на уровне предложений плохо коррелируют с оценкой качества человеком (Kos, Bojar 2009: 140). Приведённая информация поможет читателю понять, как процентные оценки BLEU CI (рассчитываемые без учёта различия между прописными и строчными буквами) соотносятся с качеством машинного перевода. С другой стороны, читатель и сам может составить мнение о том, как переводят системы машинного перевода, работающие на основе описанных выше моделей, не обращая внимания на цифры.

Далее приводятся варианты перевода одного и того же исходного текста, полученные с применением различных методов перевода. Перед переведённым текстом указаны метод перевода, дата перевода в интернете и процентная оценка BLEU CI.

Оригинальный текст на английском языке:

Каждый хочет прожить долгую, счастливую и здоровую жизнь, и учёные делают всё возможное, чтобы это стало реальностью. Они решают некоторые из наиболее серьёзных актуальных проблем здравоохранения, а также противостоят возникающим угрозам, таким как растущее влияние болезни Альцгеймера, диабета и устойчивых к антибиотикам «супербактерий». Инвестиции в исследования и инновации в области здравоохранения помогут нам сохранять активность, разрабатывать новые, более безопасные и эффективные методы лечения и поддерживать системы здравоохранения и ухода

¹⁴ ALPMAVIS также доступна через информационную систему интегрированных ресурсов литовского языка и письменности Raštija.lt (www.raštija.lt).

¹⁵ Iš programos HORIZON 2020. Europos Komisijos Mokslinių tyrimų ir inovacijų generalinis direktoratas 2014.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 11

жизнеспособной. Это даст врачам необходимые инструменты для более персонализированной медицины и позволит активизировать профилактику и лечение хронических и инфекционных заболеваний.

Перевод, выполненный переводчиком:

Все хотят жить долго и счастливо, быть здоровыми, и учёные делают всё возможное, чтобы это стало реальностью. Они пытаются решить некоторые из наиболее важных существующих проблем здравоохранения и возникающих угроз здоровью, таких как всё более серьёзные проблемы, вызываемые болезнью Альцгеймера, диабетом и устойчивыми к антибиотикам микроорганизмами. Инвестиции в исследования и инновации в сфере здравоохранения помогут нам сохранять активность, создавать новые, более безопасные и эффективные методы лечения и поддерживать жизнеспособность нашей системы здравоохранения. Они предоставят врачам средства, необходимые для подбора лекарств с учётом индивидуальных потребностей пациентов; кроме того, это будет способствовать профилактике и лечению хронических и инфекционных заболеваний.

Правиловой машинный перевод VDU, 2014 09 19, BLEU – 8,54:

Каждый хочет долгой, счастливой и здоровой жизни, и учёные стараются сделать это возможным. Они решают некоторые из основных актуальных проблем здравоохранения, а также возникающие угрозы, такие как усиливающееся воздействие болезни Альцгеймера, диабета и устойчивых к антибиотикам «супермикробов». Инвестиции в исследования в области здравоохранения и инновации помогут нам оставаться активными, разрабатывать новые, более безопасные и эффективные методы лечения и поддерживать жизнеспособность наших систем здравоохранения и ухода. Это даст врачам инструменты, необходимые для более персонализированной медицины, и позволит усилить профилактику и лечение хронических и инфекционных заболеваний.

Статистический машинный перевод ALPMAVIS, 2014 09 19, BLEU – 17,59:

Все хотят долгой, счастливой и здоровой жизни, и учёные стараются сделать это возможным. Они занимаются некоторыми из основных проблем здравоохранения и возникающими угрозами, например растущим воздействием болезни Альцгеймера, диабета и устойчивых к антибиотикам «супермикробов». Инвестиции в исследования и инновации в сфере здравоохранения помогут нам оставаться активными, разрабатывать новые, более безопасные и эффективные методы лечения и поддерживать жизнеспособность систем здравоохранения и ухода. Это предоставит врачам инструменты, необходимые для более персонализированной медицины, и будет способствовать профилактике и лечению хронических и инфекционных заболеваний.

Google статистический машинный перевод, 2014 09 19, BLEU – 17,10:

Каждый из нас стремится к долгой, здоровой и счастливой жизни, и учёные делают всё возможное, чтобы этого добиться. Они обращаются к некоторым из основных проблем здравоохранения, а также к новым опасностям, например к растущему воздействию болезни Альцгеймера, диабета и устойчивых к антибиотикам «супермикробов». Инвестиции в исследования и инновации в сфере здравоохранения помогут нам оставаться активными, создавать новые, более безопасные и эффективные методы лечения и поддерживать устойчивость наших систем здравоохранения. Это предоставит врачам инструменты, необходимые для более персонализированного назначения лекарств, и позволит активизировать профилактику и лечение инфекционных и хронических заболеваний.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 12

Microsoft Translator (Bing) статистический машинный перевод, 2017 09 27, BLEU −16,68:

Каждый хочет долгой, счастливой и здоровой жизни, и ученые делают всё возможное, чтобы это стало реальностью. Они борются с некоторыми из основных современных проблем здравоохранения, а также с новыми угрозами, такими как болезнь Альцгеймера, диабет и растущее влияние устойчивых к антибиотикам супербактерий. Инвестиции в исследования и инновации в области здравоохранения помогут нам оставаться активными, разрабатывать новые, более безопасные и эффективные методы лечения и поддерживать жизнеспособность наших систем здравоохранения и медицинского обслуживания. Это дает средства, необходимые для развития персонализированной медицины, и укрепит профилактику и лечение хронических и инфекционных заболеваний.

Представленные отрывки машинного перевода отражают типичное качество машинного перевода текстов общего характера. Значительно более качественный перевод текстов общего характера получается только тогда, когда переводимый текст уже использовался для обучения системы. Объективная оценка качества перевода системой МП возможна лишь при использовании текстов, которые никогда не включались в обучающую выборку системы. Следует признать, что реально работающие системы статистического и основанного на правилах машинного перевода пока плохо переводят тексты общего характера на литовский язык.

4. НЕЙРОННЫЙ МАШИННЫЙ ПЕРЕВОД

В 2013 г. Нал Калчбреннер и Фил Блансом предложили использовать нейронные сети для машинного перевода (Kalchbrenner, Blunsom 2013: 1700–1709). Идея задействовать графические процессоры компьютеров для вычислений нейронных сетей открыла возможности для решения практических задач, в том числе для выполнения машинного перевода. Для реализации нейронного МП (НМП) используются миллионы искусственных нейронов. Концепция НМП довольно проста: кодировщик преобразует всё предложение на исходном языке в векторном пространстве размерностью в несколько сотен в так называемый вектор мысли¹⁶, состоящий из последовательности чисел и таким образом представляющий смысл предложения. По сути, этот вектор — векторизованная мысль предложения. Направления векторов, представляющих родственные объекты и идеи, незначительно различаются¹⁷. Декодировщик генерирует перевод на основе вектора мысли. И кодировщик, и декодировщик строятся на основе рекуррентных нейронных сетей (Sutskever и др. 2014: 3104–3112; Cho и др. 2014: 1724–1734).

¹⁶ Термин популяризировал Джеффри Хинтон, один из наиболее выдающихся создателей искусственного интеллекта.

¹⁷ В этом можно убедиться, например, экспериментируя с инструментом векторизации word2vec (Mikolov и др. 2013: 3111–3119).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 13

РИС. 3. Треугольник Вокуа для нейронного машинного перевода

На рис. 3 представлена схема нейронного МП согласно треугольнику Вокуа¹⁸. Следует обратить внимание на то, что автоматически достигается высокий уровень анализа, приближающийся к интерлингве. Система НМП обучается на параллельных корпусах. В процессе обучения рекуррентные нейронные сети автоматически кодируют морфологическую, синтаксическую и семантическую информацию, содержащуюся в предложениях, а также выявляют закономерности разной степени. Наконец, машинный перевод стал неотъемлемой частью развития искусственного интеллекта. Нейронный машинный перевод стремительно совершенствуется и дает гораздо лучшие результаты, чем основанный на правилах или статистический машинный перевод.

При изучении возможностей НМП вскоре столкнулись с новым явлением: нейронные сети могли переводить между такими языковыми парами, для которых эти сети непосредственно не обучались. Если система НМП обучалась переводить с языка A на язык B, а также с языка A на язык C, то система способна переводить и с языка B на язык C (Johnson 2017: 339–351), хотя качество перевода несколько ниже. Такое явление можно назвать переводом с нулевой выборкой (англ. zero-shot translation). Это означает, что нейронная сеть системы МП в процессе обучения создает собственную интерлингву, понятную только ей самой.

В конце 2016 г. в Google Translate (GT) начали использовать нейронный перевод. Вот как выглядит нейронный перевод нашего иллюстративного примера (Google нейронный МП 2017 09 14, BLEU CI – 25,94):

¹⁸ Изображение нейронного машинного перевода в виде треугольника Вокуа представлено в интернет-публикации SYSTRAN 2016 г. «Pure Neural Machine Translation». Доступ в интернете: http://www.systransoft.com/download/white-papers/systran-white-paper-PNMT-12-2016_2.pdf, (дата обращения: 2017 11 06).

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 14

Все хотят долгой, счастливой и здоровой жизни, а учёные делают всё возможное, чтобы это стало реальностью. Они решают некоторые из важнейших современных проблем здравоохранения, а также противостоят возникающим угрозам, например растущему воздействию болезни Альцгеймера, диабета и устойчивых к антибиотикам «супербактерий». Инвестиции в исследования и инновации в сфере здравоохранения помогут нам оставаться активными, создавать новые, более безопасные и эффективные методы лечения, а также поддерживать жизнеспособность наших систем здравоохранения и ухода. Это даст врачам необходимые им инструменты для более персонализированной медицины, тем самым улучшив профилактику и лечение хронических и инфекционных заболеваний.

Следует признать, что наш пример нейронная сеть перевела несравненно качественнее, чем системы машинного перевода на основе правил или статистических методов. Пока GT не всё переводит столь же успешно: например, при попытке перевести Beauty requires no ornaments получилось — Grožis nereikalingas papuošalams. Подобные эксперименты позволяют выявить множество случаев, когда GT переводит очень плохо, так что ещё есть над чем работать.

Вильнюсский университет в 2018 году планирует приступить к внедрению нейронного машинного перевода нового поколения для английского, литовского, польского, французского, русского и немецкого языков. В систему перевода будут интегрированы автоматическое преобразование текста в речь и перевод текста, продиктованного на литовском языке.

5. ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ

Сегодня прогресс машинного перевода уже неотделим от достижений в области искусственного интеллекта. По качеству перевода все классические методы МП нуждаются в совершенствовании; их потенциал ещё не исчерпан, и их пределы неясны. Романтический период лёгких достижений закончился; эвристические математические или инженерные методы помогают не всегда. Дети усваивают язык словно автоматически, без усилий, однако впоследствии их речь совершенствуется только благодаря изучению грамматики и литературы. Похоже, что без более активного участия лингвистов дальнейшее совершенствование машинного перевода вряд ли возможно. Такое участие облегчают инструменты машинного перевода, реализованные на платформах с открытым исходным кодом: например, Apertium для перевода на основе правил (Forcada ir kt. 2011: 127–144); Moses (Koehn ir kt. 2007b: 177–180), LetsMT! (Vasiljevs ir kt. 2012: 43–48) — для статистического, TensorFlow, OpenNMT — для нейронного перевода. Остаётся надеяться, что литовские лингвисты объединят усилия для решения современных задач компьютерной лингвистики, поскольку некоторые из них имеют экзистенциальное значение для нашего языка.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 15

LITERATŪRA

Banerjee S., Lavie A. 2005: METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. – Proceedings of Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization at the 43th Annual Meeting of the Association of Computational Linguistics (ACL-2005), Ann Arbor, Michigan, 62–72.

Bar-Hillel Y. 1958: Some linguistic obstacles to machine translation. – Proceedings of the Second International Congress on Cybernetics, Namur, 197–207.

Bojar O. 2007: English-to-Czech factored machine translation. – Proceedings of the Second Workshop on Statistical Machine Translation, Prague, Czech Republic, 232–239.

Brown P. F., Cocke J., Della Pietra S. A., Della Pietra V. J., Jelinek F., Mercer R. L., Roossin P. S. 1988: A statistical approach to language translation. – Proceedings of COLING 1988: The 12th International Conference on Computational Linguistics, Budapest, 71–76.

Brown P. F., Della Pietra S. A., Della Pietra V. J., Mercer R. L. 1993: Mathematics of statistical machine translation: Parameter estimation. – Computational Linguistics 19(2), 263–311.

Cho K., Bart van Merrienboer, Gulcehre C., Bougares F., Schwenk H., Bengio Y. 2014: Learning phrase representations using RNN encoder-decoder for statistical machine translation. – Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), Association for Computational Linguistics, Doha, Qatar, 1724–1734.

Commission of the European Communities 1994: Final Evaluation Of The Results Of Eurotra: A Specific Programme Concerning The Preparation Of The Development Of An Operational Eurotra System For Machine Translation. DIANE Publishing Company, 1995, 194.

Daubarienė A., Ziezytė G. 2013: Machine translation: translated texts in terms of standards of textuality. – Kalbų studijos 22, 55–61.

Daudaravičius V., 2006: Pradžia į begalybę. Mašininis vertimas ir lietuvių kalba. – Darbai ir dienos: Pažangos šuoliai 45, 7–18.

Daumas M. 1965: Les machines à traduire de Georges Artsrouni. – Revue d'histoire des sciences et de leurs applications, tome 18, n°3, 283–302.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 16

De Beaugrande R. A., Dressler W. U. 1981: Introduction to Text Linguistics, London: Longman, 270.

Doddington G. 2002: Automatic Evaluation of Machine Translation Quality Using Ngram Co-occurrence Statistics. – Proceedings of the Second International Conference on Human Language Technology Research, San Francisco, CA, USA., Morgan Kaufmann Publishers Inc., 138–145.

Forcada M. L, Ginestí-Rosell M., Nordfalk J., O'Regan J., Ortiz-Rojas S., Pérez-Ortiz J. A., Sánchez-Martínez F., Ramírez-Sánchez G., Tyers F. M. 2011: Apertium: a free/open-source platform for rule-based machine translation. – Machine Translation 25 (2), Free/Open-Source Machine Translation (June 2011), 127–144.

Hajič J., Hric J., Kuboň V. 2000: Machine Translation of Very Close Languages. – Proceedings of the 6th Applied Natural Language Processing Conference, Association for Computational Linguistics, 7–12.

Homola P., Rimkutė E. 2004: Artimų kalbų mašininis vertimas. – Kalbų studijos 6, 77–81.

Hutchins J. 2004a: Two precursors of machine translation: Artsrouni and Trojanskij. – International Journal of Translation 16(1), 11–31.

Hutchins J. 2004b: The Georgetown-IBM experiment demonstrated in January 1954. – Proceedings of the 6th Conference of the Association for Machine Translation in the Americas, AMTA, Washington, DC, 102–114.

Johnson M., Schuster M., Le V. Q., Krikun M., Wu Y., Chen Z., Thorat N., Viégas F. B., Wattenberg M., Corrado G., Hughes M., Dean J. 2017: Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation. – Transactions of the Association of Computational Linguistics 5 (1), 339–351.

Kalchbrenner N., Blunsom P. 2013: Recurrent Continuous Translation Models. – Proc. of EMNLP, October, Association for Computational Linguistics, Seattle, Washington, USA, 1700–1709.

Koehn P., Hoang H. 2007a: Factored translation models. – Proceedings of the Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, ACL, 868–876.

Koehn P., Hoang H., Birch A., Callison-Burch C., Federico M., Bertoldi N., Cowan B., Shen W., Moran C., Zens R., Dyer C., Bojar O., Constantin A., Herbst E. 2007b: Moses: Open source toolkit for statistical machine

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 17

translation. – 45th Annual Meeting of the Association for Computational Linguistics (ACL), Companion Volume, 177–180.

Koehn P., Och F. J., Marcu D. 2003: Statistical phrase-based translation. – Proceedings of HLT-NAACL, 127–133.

Kos K., Bojar O. 2009: Evaluation of Machine Translation Metrics for Czech as the Target Language. – Prague Bull. Math. Linguistics 92, 135–148.

McCulloch W., Pitts W. 1943: A logical calculus of the ideas immanent in nervous activity. – Bulletin of Mathematical Biophysics 5, 115–133.

Mikolov T., Sutskever I., Chen K., Corrado G. S., Dean J. 2013: Distributed Representations of Words and Phrases and their Compositionality – Proceedings of the 26th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, Vol. 2, 3111–3119.

Mitamura T., Nyberg E., Carbonell J. 1991: An efficient interlingua translation system for multi-lingual document production. – Proceedings of Machine Translation Summit III, Washington, DC. Perspausdinta: – Progress in Machine Translation, ed. S. Nirenburg, IOS Press, (1993), 105–118.

Papineni K., Roukos S. Ward T., Zhu W. J. 2002: BLEU: a method for automatic evaluation of machine translation. – ACL-2002: 40th Annual meeting of the Association for Computational Linguistics, 311–318.

Reifler E. 1960: The solution of MT linguistic problems through lexicography. – Proceedings of the National Symposium on Machine Translation, (February 2–5, 1960), ed. H.P. Edmunson, London: Prentice-Hall, (1961), 312–316.

Rimkutė E., Kovalevskaitė J. 2008: Linguistic Evaluation of the First English-Lithuanian Machine Translation System. – Proceedings of the Third Baltic Conference on Human Language Technologies (2007), Kaunas, 257–264.

Skadinš R., Goba K., Šics V. 2010: Improving SMT for Baltic Languages with Factored Models. – Proceedings of the Fourth International Conference Baltic HLT, Frontiers in Artificial Intelligence and Applications, Vol. 219, IOS Press, 125–132.

Snover M., Dorr B., Schwartz R., Micciulla L., Makhoul J. 2006: A Study of Translation Edit Rate with Targeted Human Annotation. – Proceedings of the 7th Conference of the Association for Machine Translation in the Americas, Morristown, NJ, USA, 223–231.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 18

Sutskever I., Vinyals O., V. Le Q. V. 2014: Sequence to sequence learning with neural networks. – Proceedings of the 27th International Conference on Neural Information Processing Systems, Montreal, Canada, Vol. 2, MIT Press Cambridge, MA, USA, 3104–3112.

Šveikauskienė D. 2005: Graph Representation of the Syntactic Structure of the Lithuanian Sentence. – Informatica 16 (3), 407–418.

Toma P. 1977: Systran as a multilingual machine translation system. – Proceedings of the Third European Congress on Information Systems and Networks, Overcoming the language barrier, München, 569–581.

Vasiljevs A., Skadiņš R., Tiedemann J. 2012: LetsMT!: a cloud-based platform for do-it-yourself machine translation – Proceedings of the ACL, System Demonstrations, Jeju Island, Korea, 43–48.

Vauquois B. 1976: Automatic translation – A survey of different approaches. – COLING-76, Ottawa. Perspausdinta: – Readings in machine translation, eds. S. Nirenburg, H. L. Somers, Y. Wilks, MIT Press, (2003), 333–337.

Weaver W. 1949: Translation. – Perspausdinta: – Machine Translation of Languages, MIT Press, Cambridge, MA. (1955), 15–23.

Įteikta 2017 11 13

Priimta 2017 12 20

MACHINE TRANSLATION FOR LITHUANIAN LANGUAGE

Summary

The paper presents a historical overview as well as current state of the art of the machine translation. Translation from another language is always a certain intellectual challenge. In 1949 Warren Weaver suggested using computers to translate texts. The term "machine translation" (MT) appears. Machine translation has been rapidly developing during the first decades in order to gain a strategic advantage in the Cold War. Most popular translated languages were Russian and English. Word-to-word translation and large bilingual dictionaries covering more than 170,000 words prevailed.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Masininis vertimas lietuvių kalbai | 19

In the 1950s and 1960s, machine translation systems appeared which could be called rule-based. They are based on the assumption that a language can be described using a set of rules (including grammatical). It was a rather optimistic period – it was expected to create a perfect machine translation in a few years. But a computer hardly "understands" grammar. Highly inflected languages require tens of thousands thoroughly hand-tuned and mutually consistent rules. Nobody has done this properly yet. The most advanced systems were the SYSTRAN MT system, launched in the European Commission and the Russian PROMT translation system. Subsequently, the rule-based MT progress slowed down. The EUROTRA project (1982–1992), by some estimates costing more than 50,000,000 ECU, fails – even hundreds of recruited specialists failed to create a functioning MT system. This marked a serious rule-based MT crisis. Development simply stalled for many forthcoming years.

The question was raised: if we cannot write so many rules, can it be translated without grammar at all? In 1990 a new breakthrough emerges – the research team at the IBM Thomas J. Watson Research Center formulates the basics of statistical machine translation. The translation process has been considered as a transmission of a certain message over a noisy channel. Decoding then has been performed on the basis of the Bayesian theorem. Translation is based on text corpora, especially on large parallel bilingual text corpora. There was a rapid improvement of statistical MT. The EuroMatrix project, supported by the European Commission, has created a universal open source machine translation software package MOSES, based on industry-level MT systems. Good results have been obtained – it turns out that you can translate without any dictionary or grammar! This method has greatly facilitated the translation of highly inflected languages too.

The achievements of machine translation today are effectively applied to the Lithuanian language as well. During 2005–2007 Vytautas Magnus University has carried out an EU-funded project "Internet Information Translator". The result was a public online translation service from English to Lithuanian. (http://vertimas.vdu.lt/twsas/). The rule-based translation engine was provided by the Russian company PROMT, while other linguistic resources were prepared in Lithuania. The overall quality of text translation in BLEU metrics (in percent) is about 10. In practice, this means that only every third sentence can be adequately understood. This translation tool still has considerable potential for improving, for example by expanding phrase dictionary. Since September 25, 2008 Google Translate also supports Lithuanian. According to the results of the tests (2014), the BLEU translation quality was estimated to be around 17.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 20

2012–2014 Vilnius University implemented the EU-funded project "Creation of English-Lithuanian-English and French-Lithuanian-French machine translation system based on statistical methods". The result was a public online translation service (https://www.versti.eu/). According to the tests carried out in 2014, the BLEU estimates of the translation quality exceeded more than twice the rule-based translation results and were practically equivalent to the Google translation system. When translating the documents of certain domain (such as law) the achieved BLEU score is roughly twice as high as translating general texts and far exceeds Google's results (19-09-2014). However, even the best machine translations often require human intervention and final editing in order to get the perfect translation. So, can machines ultimately translate fine?

The last few years promise new breakthroughs using a neural machine translation. Neural networks themselves construct transformation rules. It is likely that in the near future the neural MT systems will translate better than an average translator. In 2018 Vilnius University is preparing to launch the EU-funded project of a new generation neural machine translation of English, Lithuanian, Polish, French, Russian and German.

Thus, the latest achievements in machine translation apply to the Lithuanian language as well.

KEYWORDS: Lithuanian, machine translation, computational linguistics, history, neural networks, artificial intelligence.

DANIELIUS ALGIRDAS RALYS

Vilniaus universiteto Taikomųjų mokslų institutas

M. K. Čiurlionio g. 29, 03100 Vilnius

[email protected]

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204