DANIELIUS ALGIRDAS RALYS

Вільнюський університет

МАШИННИЙ ПЕРЕКЛАД УКРАЇНСЬКОЮ МОВОЮ¹

КЛЮЧОВІ СЛОВА: литовська мова, історія, комп’ютерна лінгвістика, машинний переклад, нейронні мережі, штучний інтелект.

ВСТУП

Сьогодні дедалі більше текстів перекладають комп’ютери. Такий автоматичний комп’ютерний переклад найчастіше називають машинним перекладом (МП). Зазвичай машинний переклад здійснюють, щоб якомога швидше зорієнтуватися у величезному потоці інформації різними мовами, а також щоб якнайширше поширити власну інформацію. Обмін електронною інформацією між народами й мовами стає важливою частиною повсякденного життя, відкриває нові можливості для нашої мови, ставить перед нею нові виклики й проблеми.

Термін «машинний переклад» (англ. machine translation) у середині минулого століття першим ужив Воррен Вівер, запропонувавши застосувати щойно створені комп’ютери для перекладу текстів (Weaver 1949: 1). В. Вівер пропонував розглядати текст, написаний іншою мовою, як шифрограму, яку можна декодувати. Криптографічні досягнення британських та американських фахівців у Другій світовій війні, що щойно завершилася, породжували оптимізм. Тоді щиро вірили, що електронні машини за кілька років допоможуть подолати прокляття Вавилонської вежі.

На жаль, переклад розвивався повільно, а якість машинного перекладу й близько не дорівнювала якості людського перекладу. Через сімдесят років, після безсумнівних успіхів і розчарувань, після численних виконаних робіт у спільноті машинного перекладу знову панують оптимістичні настрої. Цього разу сподівання покладають на штучні нейронні мережі та швидкий поступ у розробленні штучного інтелекту.

Машинний переклад не оминув і литовської мови. Сьогодні легкодоступні онлайн-засоби машинного перекладу перекладають із найпоширеніших мов литовською та навпаки. Якість перекладу більшості засобів іще досить низька, їхні переклади необхідно редагувати. Кращою якістю вирізняється лише засіб перекладу Google Translate², у якому почали використовувати

¹ Статтю підготовлено за матеріалами доповіді «Машинний переклад литовською мовою», виголошеної у Вільнюсі на 24-й міжнародній конференції імені Йонаса Яблонскіса «Цифрові мовні ресурси, напрями їхнього розвитку та можливості використання» 29 вересня 2017 року.

² Доступ онлайн https://translate.google.com.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 2

технології нейронного перекладу. Більшість речень, перекладених за допомогою цього засобу, зберігають значення, яке вони мали в оригіналі.

Машинний переклад широко використовують для поширення інформації іншими мовами. Часто результати машинного перекладу безвідповідально завантажують в електронний простір зовсім невідредагованими. Наслідки таких дій уже помітні: в інтернеті рясніють неякісні литовські тексти зі спотвореною інформацією, автоматично згенеровані тією чи іншою програмою машинного перекладу³. Поступово такі тексти можуть проникнути й до корпусів. Машинний переклад уже став повсякденною реальністю, що іноді дивує, а іноді й ріже око, і заслуговує не лише на пильнішу увагу мовознавців, а й на їхню активнішу участь у розвитку машинного перекладу.

У цій статті стисло викладено історію машинного перекладу (МП) та представлено деякі ідеї, що вплинули на його розвиток. Наведено результати, досягнуті різними технологіями перекладу для литовської мови. Проаналізовано можливості застосування МП для литовської мови за допомогою правилових, статистичних і нейронних методів. Через брак місця не розглянуто спроби поєднати кілька цих методів в одній системі перекладу.

1. ВИТОКИ МАШИННОГО ПЕРЕКЛАДУ

Якісний переклад з іншої мови завжди є певним інтелектуальним викликом для людини, а переклад ніколи не був легкою справою. Не дивно, що намагалися певним чином автоматизувати переклад. У 1932–1935 рр. у Франції інженер Georges Artsrouni винайшов і сконструював універсальний механічний пристрій, який назвав механічним мозком (фр. cerveau mécanique); серед інших функцій він міг перекладати набраний текст кількома мовами (Hutchins 2004a: 12). У цьому електромеханічному пристрої оберталася довга (до 40 метрів) стрічка пам’яті, виготовлена з гнучкого картону. На ній було записано багатомовний словник, що міг містити навіть кілька десятків тисяч слів. Введене на клавіатурі французьке слово механічно кодувалося, і відповідно до цього коду стрічка пам’яті поверталася до потрібного місця. За кілька секунд пристрій показував переклад введеного слова (Daumas 1965: 294–295). Пристрій демонстрували на Всесвітній виставці в Парижі 1937 року; він викликав значний інтерес і був нагороджений Гран-прі. Фактично це був перший у світі

³ Джонатан Свіфт (Jonathan Swift) у своїх «Мандрах Гуллівера» саркастично описує машину, що складала безглузді комбінації слів, які невтомно й ретельно записували до книжок. Нині таку саму нісенітницю можна створити набагато швидше...

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 3

працюючий механічний словник. G. Artsrouni згодом продовжував удосконалювати свій пристрій, однак механічні проблеми та початок Другої світової війни припинили цю роботу.

У 1933 році в Радянському Союзі Піотр Смирнов-Троянський отримав авторське свідоцтво на електромеханічну машину для перекладу⁴. Хоча цю машину так і не виготовили, винахідник сформулював чимало цінних ідей щодо машинного перекладу, які втілилися лише через багато років, із появою комп’ютерів. П. Смирнов-Троянський розмовляв російською, тому добре розумів особливості флективних мов. Він запропонував поділити процес перекладу на три етапи: на першому етапі людина має звести текст до лем і анотувати їх морфологічними та синтаксичними позначками (етап аналізу); потім на другому етапі машина автоматично знаходить леми однієї або кількох мов перекладу й надає їм ті самі позначки (етап трансформації); на третьому етапі редактор має підготувати зв’язний текст перекладу на основі лем і позначок мови перекладу (етап генерації). П. Смирнов-Троянський також пропонував різні методики перекладу синонімів, омонімів та ідіом. Ідеї П. Смирнова-Троянського не були оцінені на його батьківщині, він так і не дочекався ери комп’ютерів⁵, однак ідеї винахідника не були забуті, згодом вони стали відомими й на Заході.

Ера практичного машинного перекладу почалася з появою комп’ютерів. У 1947 році W. Weaver листом звернувся до видатного лінгвіста й творця комп’ютерів Норберта Вінера, запитуючи, чи можна застосувати останні досягнення криптографії та щойно створені комп’ютери⁶ для перекладу мов. W. Weaver стверджував, що будь-який російський текст можна розглядати як англійське повідомлення, зашифроване літерами кирилиці. Йому здавалося, що комп’ютери можуть просто розшифрувати це повідомлення. На жаль, відповідь Н. Вінера була скептичною.

У 1949 році W. Weaver надіслав ширшій аудиторії меморандум, у якому запропонував використовувати комп’ютери для перекладу текстів (Weaver 1949: 7)⁷. На той час у різних американських і британських лабораторіях переважали ідеї простого дослівного машинного перекладу. Науковець був переконаний, що комп’ютери можуть перекладати значно краще. У меморандумі W. Weaver запропонував чотири напрями розв’язання проблем перекладу та дослідження. Передусім він запропонував статистично аналізувати найближче оточення слова, яке перекладають, і таким чином розв’язувати проблеми полісемії. Сьогодні це спостереження становить основу статистичного машинного перекладу. Друга пропозиція ґрунтувалася на припущенні, що в мові

⁴ В авторському свідоцтві цей пристрій названо «машиною для добору й друкування слів під час перекладу з однієї мови іншою або кількома мовами одночасно».

⁵ П. Смирнов-Троянський помер у 1950 році.

⁶ Перший британський електронний комп’ютер Colossus почав працювати на початку 1944 року, перший американський електронний цифровий комп’ютер ENIAC було виготовлено наприкінці 1945 року. Перший радянський комп’ютер MESM було виготовлено в 1950 році.

⁷ У цьому меморандумі W. Weaver вжито термін машинний переклад (англ. machine translation), який швидко прижився.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 4

є логічні елементи, тому при використанні моделей нейронних мереж (McCulloch, Pitts 1943: 115–133) має бути можливим дедукувати переклад із передумов, наявних в оригінальній мові. Час показав геніальність цього прозріння — сьогодні нейронний метод машинного перекладу забезпечує найякісніший переклад. Третій напрям розв’язання проблем має полягати в застосуванні методів криптографії до перекладу мов. Через сорок років це було реалізовано в алгоритмах статистичного машинного перекладу. Щоб проілюструвати четверту пропозицію, W. Weaver намалював алегоричну картину, на якій люди мешкають у високих закритих вежах, що символізують різні мови. Людям сяк-так вдається спілкуватися, перекрикуючись крізь товсті стіни веж. На щастя, вежі мають спільний фундамент і підземелля; достатньо спуститися туди — і спілкуватися має стати легше. W. Weaver стверджував, що в мовах світу прихована певна спільна глибинна структура, яку ще належить розкрити. Остання пропозиція науковця спонукала до пошуку та побудови універсальної мови — інтерлінгви машинного перекладу⁸.

Після меморандуму W. Weaver машинний переклад невдовзі почав набирати обертів. У 1954 році в Нью-Йорку публічно продемонстрували систему машинного перекладу, створену у співпраці корпорації IBM і Джорджтаунського університету. Перекладали з російської мови англійською. У системі було запрограмовано лише шість граматичних правил, а для перекладу використовували близько 250 слів (Hutchins 2004b: 102). Система була орієнтована на тематику органічної хімії, приклади перекладу ретельно продумали заздалегідь. Після експерименту сподівалися, що за кілька років машини перекладатимуть чудово, а на продовження робіт виділили щедре фінансування. Машинний переклад почали стрімко розвивати у Сполучених Штатах Америки (США) та Радянському Союзі, прагнучи здобути стратегічну перевагу в холодній війні. Найпопулярнішими мовами перекладу були російська й англійська.

2. ПРАВИЛЬНО-ОРІЄНТОВАНИЙ МАШИННИЙ ПЕРЕКЛАД

У середині п’ятдесятих років минулого століття з’явилися системи машинного (комп’ютерного) перекладу, які стали називати правиловими (англ. rule-based). Їх створювали, виходячи з того, що мову можна описати за допомогою набору певних правил (зокрема граматичних). За цим методом речення мовою оригіналу аналізується до певного вибраного рівня, визначається його структура, яка відповідно до сформульованих правил трансформується в еквівалентну структуру мовою перекладу, на основі якої генерується речення цією мовою. Структури речень різних мов можуть дуже відрізнятися, мати ті чи інші особливості, які мають бути відображені в системі машинного перекладу.

⁸ Не слід плутати з інтерлінгвами природних мов — есперанто, ідо, волапюком тощо.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 5

системі. Проблеми представлення синтаксичних структур литовського речення, придатного для машинного перекладу, досліджувала Дайва Швейкаускене (2005: 411–417). Існують різні різновиди правилових систем машинного перекладу, які розрізняються глибиною аналізу (рис. 1⁹). Що глибший аналіз речення, то простіше трансформування. В ідеалі, якщо аналізувати текст до рівня інтерлінгви, трансформація взагалі була б непотрібна — інтерлінгвістичне представлення тексту мало б бути однаковим для всіх мов.

РИС. 1. Трикутник Вокуа для правилового машинного перекладу

Проблеми правилового машинного перекладу намагалися розв’язувати як емпіричними, так і лінгвістичними методами. Серед емпіриків найпопулярнішим був метод прямого перекладу. За такого перекладу між двома мовами використовують лише словник і прості програмні правила, практично не виконуючи мовного аналізу чи синтаксичної перебудови (цей метод відповідає найнижчому рівню на рис. 1). У США в шістдесяті роки минулого століття група дослідників під керівництвом Ервіна Райфлера створювала спеціальні словники для машинного перекладу, у яких поряд із лексичними відповідниками містилися також правила локальної зміни порядку слів. Наводилися також переклади численних фраз і узагальнювальні поняття (англ. cover terms) для розв’язання проблем полісемії. У 1964 році почала працювати система прямого перекладу з російської на англійську Mark II, створена на замовлення Військово-повітряних сил США. У ній використали словник Е. Райфлера, що містив понад 170 000 слів (Reifler 1960: 312).

Лінгвістичні методи ширше застосовували в Джорджтаунському університеті, де зібралися численні сили дослідників машинного перекладу, розподілені на кілька груп, які застосовували різні методи

⁹ Такі ілюстрації часто називають трикутником Вокуа; цей метод ілюстрування запропонував французький піонер машинного перекладу Бернар Вокуа (1976: 335).

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 6

груп. У групі під керівництвом Майкла Заречнака було створено систему Джорджтаунського автоматичного перекладу (англ. GAT – Georgetown Automatic Translation). У ній проводився аналіз трьох рівнів: морфологічний (що охоплював також ідентифікацію ідіом), синтаксичний і синтагматичний. Модифіковану систему GAT успішно почали використовувати в Євратомі (Іспра, Італія) у 1963 році та в Комісії з атомної енергії США у 1964 році. Значно більше часу знадобилося на створення системи машинного перекладу на основі інтерлінгви. Комерційно цінна система машинного перекладу KANT з’явилася лише в останньому десятилітті минулого століття (Mitamura та ін. 1991: 105–118). Систему використовували для перекладу деяких технічних текстів. Інтерлінгву для вираження загальновживаної мови так і не було створено.

Упродовж десятиліття після презентації системи машинного перекладу IBM–Джорджтаун докладали значних зусиль, щоб істотно підвищити якість машинного перекладу¹⁰, однак прогрес був дуже незначним. У 1966 році в США було створено комітет ALPAC (англ. Automatic Language Processing Advisory Committee), який постановив, що в найближчому майбутньому машинний переклад не має перспектив, оскільки його якість низька, а переклад ще має редагувати перекладач, витрачаючи на це більше часу, ніж на переклад без будь-яких машин. Комітет ALPAC не зважив на той факт, що машинний переклад допомагає перекладати величезні обсяги інформації, а багатьох користувачів задовольняє низькоякісний переклад, який лише приблизно передає зміст. Після негативних висновків комітету фінансування проєктів машинного перекладу в США практично припинилося на кілька десятиліть; фінансування скоротилося й в інших країнах.

Попри скептичне ставлення до машинного перекладу, у цій галузі постійно відбувався прогрес. Систему перекладу на основі правил SYSTRAN, розробку якої розпочали у США в 1968 році (Toma 1977: 569–581), постійно вдосконалювали, а згодом вона стала комерційною. Її почали використовувати в Міністерстві оборони США, NASA, Євратомі, Європейській комісії та багатьох інших установах. Згідно з комерційною угодою 1975 року Європейська комісія отримала право вдосконалювати систему для власних потреб. Система досить добре перекладала тексти з окремих предметних галузей багатьма мовами. З 2010 року SYSTRAN почала використовувати гібридні технології. Досить ефективні системи машинного перекладу з’явилися й в інших країнах: ARIANE (у Греноблі, Франція), подібна до неї система MU (у Кіото, Японія), а також SUSY (у Саарбрюкені, Німеччина). Європейський проєкт EUROTRA (1982–1992), що коштував понад 50 000 000 ECU¹¹, завершився невдачею — сотні фахівців так і не створили дієвої системи машинного перекладу. Так почалася серйозна криза машинного перекладу на основі правил. Упродовж багатьох наступних років прогресу майже не було.

¹⁰ У США за цей період на розробку й удосконалення систем машинного перекладу витратили близько 20 млн доларів.

¹¹ У доповіді Комісії Європейських Співтовариств (англ. CEC – Commission of the European Communities) за 1994 рік наведено дані про фінансування EUROTRA: у 1982–1992 роках Комісія виділила на проєкт 37,5 млн ECU (CEC 1994: 3.10), а уряди різних країн додатково виділили понад 20 млн ECU шістнадцятьом центрам EUROTRA (CEC 1994: A4.2).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 7

Машинний переклад на основі правил у Литві з’явився лише в цьому столітті. У 2003–2004 роках систему машинного перекладу Česilko (Hajič та ін. 2000: 10–12) адаптували для литовської мови (Homola, Rimkutė 2004: 77–81). У той період Петр Гомола та Еріка Рімкуте досліджували можливості цієї системи перекладати між чеською та литовською мовами. У 2005–2007 роках Університет Вітовта Великого реалізував проєкт «Інтернет-інструмент перекладу інформації», фінансований структурними фондами Європейського Союзу. Структуру запроєктованої системи машинного перекладу описав Відас Даударавічюс (2006: 7–18). Було створено загальнодоступний інтернет-інструмент для перекладу з англійської на литовську¹². Механізм перекладу надала російська компанія PROMT. Частину мовних компонентів системи підготували в Литві. Система добре перекладала лише окремі типи речень, а якісні переклади становили меншість. У 2007 році було проведено лінгвістичне оцінювання цієї системи машинного перекладу (Rimkutė, Kovalevskaitė 2008: 257–264). Аудроне Даубарене та Грета Зієзвите (2013: 55–61) оцінили відповідність перекладів системи машинного перекладу Університету Вітовта Великого стандартам текстуальності (De Beaugrande, Dressler 1981: 3). У своїй праці авторки встановили, що досліджені тексти машинного перекладу різних жанрів через численні семантичні помилки не відповідали вимогам когерентності та деяким іншим стандартам текстуальності, тому такі переклади не можуть бути прийнятними й інформативними для читача.

Упродовж десятиліть, коли прогрес фактично стояв на місці, почали усвідомлювати, що мова — надзвичайно складне явище, яке дуже важко описати правилами. Для розв’язання проблем багатозначності й перекладу анафор пропонували використовувати екстралінгвістичну інформацію про будову світу та його логіку (Bar-Hillel 1958: 197–207). Однак такої систематизованої інформації просто не існувало, а формальний опис змісту тексту видавався складнішим завданням, ніж сам переклад. Було очевидно, що проблеми машинного перекладу потребували революційних рішень.

2. СТАТИСТИЧНИЙ МАШИННИЙ ПЕРЕКЛАД

У 1988 році група дослідників IBM (Brown та ін. 1988: 71–76) запропонувала використовувати для машинного перекладу інформацію, закладену в паралельних корпусах, щоб знаходити найімовірніші варіанти перекладу. Запропонована модель перекладу ґрунтується на припущенні, що в шумному каналі відбувається перетворення речення мовою оригіналу f на речення e мовою перекладу. Шум у каналі статистично спотворює речення мовою оригіналу f, тому на виході каналу можна отримати різні речення e, різної довжини, що мають той чи інший зміст мовою перекладу або зовсім його не мають. Оскільки цей канал намагається перекладати правильно, крізь шум дедалі частіше проходять правильні варіанти перекладу.

¹² Доступ в інтернеті http://vertimas.vdu.lt/twsas/.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 8

У цій моделі вважається, що коли в канал надсилається речення f, найкращим варіантом перекладу ê серед усіх e є той, умовна ймовірність появи якого на виході каналу p(e|f) є найбільшою, тобто

ê = argmax_e p(e|f).

Тут виникає проблема: щоб знайти найкращий варіант перекладу ê, потрібно переглянути не лише всі можливі речення мовою перекладу, а й усілякі перестановки слів у них. Підрахувати таку кількість імовірностей дуже складно. Застосувавши теорему Байєса, отримуємо простіший для обчислення еквівалентний вираз (Koehn ir kt. 2003: 127):

argmax_e p(e|f) = argmax_e p(f|e) p(e)

Ši lygtis yra pamatinė statistinio mašininio vertimo lygtis (Brown ir kt. 1993). Joje sąlyginė tikimybė p(f|e) parodo tikimybę, kad kanalu buvo pasiųstas sakinys f, jei išėjime pasirodė sakinys e. Šis lygties narys vadinamas vertimo modeliu, kuris apskaičiuojamas iš dvikalbių tekstynų. Antrasis lygties narys p(e) parodo sakinio e tikimybę vertimo kalboje. Šis narys aprašo kalbos modelį, kuris apskaičiuojamas iš vienkalbių vertimo kalbos tekstynų¹³.

РИС. 2. Трикутник Вокуа для статистичного машинного перекладу

Запропонований науковцями IBM спосіб перекладу одразу почав конкурувати з перекладом на основі правил за якістю перекладу. Розробників систем статистичного МП приваблювала можливість перекладати багатьма мовами, не маючи жодного уявлення ні про переклад, ні про граматику; достатньо було навчити створювані системи на наявних корпусах текстів. Під час класичного статистичного перекладу не виконується жодного

¹³ Мовна модель скорочує обсяг обчислень, оскільки допомагає одразу відкидати речення, яких немає в корпусах текстів, сприяє вибору найплавнішого перекладу, а також опосередковано пояснює, чому художню літературу краще перекладає перекладач(ка), для якого(ї) мова перекладу є рідною.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 9

аналізу речень мовою оригіналу чи синтезу речень мовою перекладу (рис. 2); переклад виконується лише на основі ймовірностей, визначених під час навчання системи. Запропоновані Пітером Брауном і його колегами моделі розташування п’яти слів у перекладах були недостатньо гнучкими: вони дозволяли перекласти слово мови оригіналу одним або кількома словами чи зовсім його не перекладати. У 2003 р. було запропоновано (P. Koehn ir kt. 2003: 127–133) гнучкішу модель машинного перекладу, здатну перекладати також фрази мови оригіналу.

У цей період методи автоматичного оцінювання якості машинного перекладу стрімко вдосконалювалися, оскільки було дуже важливо швидко з’ясувати, яка версія системи машинного перекладу, що налаштовується, перекладає найкраще. Також прагнули, щоб таке оцінювання давало змогу об’єктивно порівнювати якість перекладу різних систем. Згодом однією з найпопулярніших стала метрика BLEU (англ. bilingual evaluation understudy — акронім) (Papineni ir kt. 2002: 311–318), у якій автоматично порівнюється, наскільки текст машинного перекладу відрізняється від людського перекладу. Ця метрика не враховує зрозумілість тексту чи граматичну правильність; у ній підраховуються лише слова або фрази, що точно збігаються. Під час обчислення метрики фрази, що збігаються, мають відносно більшу статистичну вагу, ніж окремі слова, що збігаються. Залежно від завдання для оцінювання якості МП часто використовують також інші метрики, що мають ту чи іншу корисну властивість: F-measure, METEOR (Banerjee, Lavie 2005: 62–72), NIST (Doddington 2002: 138–145), TER (Snover ir kt. 2006: 223–231) та багато інших.

Попри популярність статистичного МП, дедалі очевиднішими ставали обмеження цього методу під час перекладу морфологічно багатими (флективними) мовами. У паралельних корпусах флективних мов зазвичай відсутні всі можливі форми фраз і навіть окремих рідковживаних слів. Якщо якісь можливі форми не було включено до навчання системи МП, то такі форми не перекладатимуться. Цей недолік класичного МП зумовлений браком даних, через який після навчання системи отримують розріджену матрицю ймовірностей перекладу. Щоб подолати цей недолік, Філіп Кьон і Хієу Хоанг запропонували факторизований статистичний машинний переклад (Koehn, Hoang 2007a: 868–876). Було запропоновано додати до системи перекладу лінгвістичну інформацію, анотуючи паралельні корпуси позначками лінгвістичного аналізу, які згодом використовувалися для навчання системи. У 2007 р. П. Кьон і його колеги представили широкій громадськості повноцінний пакет статистичного МП Moses з відкритим вихідним кодом (Koehn ir kt. 2007b: 177–180). Застосування факторизованого статистичного МП дещо поліпшувало якість перекладу флективними мовами — зазвичай на 1–2 відсотки BLEU (Bojar 2007: 235–236; Skadinš ir kt. 2010: 128–129).

Із 25 вересня 2008 р. система статистичного МП Google Translate почала перекладати також литовською мовою. У 2012–2014 рр. Вільнюський університет реалізовував проєкт Структурних фондів Європейського Союзу

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 10

фінансований проєкт «Створення системи машинного перекладу англійсько-литовської-англійської та французько-литовської-французької мов на основі статистичних методів». Більшу частину робіт за проєктом виконало ТОВ Tilde. Було створено систему машинного перекладу ALPMAVIS, і для широкого загалу стала доступною відкрита онлайн-служба статистичного машинного перекладу (https://www.versti.eu/)¹⁴. За результатами тестування, проведеного у 2014 році, оцінки якості перекладу текстів загального характеру (за метрикою BLEU) більш ніж удвічі перевищили результати литовської системи машинного перекладу на основі правил і практично дорівнювали результатам системи перекладу Google Translate. ALPMAVIS особливо добре перекладає юридичні тексти.

3. ЯКІСТЬ МАШИННОГО ПЕРЕКЛАДУ УКРАЇНСЬКОЮ МОВОЮ

З появою нового мовного явища — текстів литовською мовою, перекладених машиною, — стало цікаво оцінити якість такого перекладу з погляду літературної мови. Для оцінювання було обрано текст загального характеру, оскільки він краще відображає літературну мову, а для вимірювання якості перекладу використано метрику BLEU.

Для перевірки якості перекладу було обрано опублікований в інтернеті текст загального характеру¹⁵.

Розрахунки BLEU виконувалися для документа, довшого за його наведений нижче фрагмент, оскільки оцінки BLEU на рівні речень погано корелюють з оцінюванням якості людиною (Kos, Bojar 2009: 140). Наведена інформація допоможе читачеві зрозуміти, як відсоткові оцінки BLEU CI (обчислені без розрізнення великих і малих літер) співвідносяться з якістю машинного перекладу. З іншого боку, читач і без огляду на цифри може сам скласти думку про те, як перекладають системи машинного перекладу, що працюють на основі раніше описаних моделей.

Далі наведено варіанти перекладу того самого оригінального тексту, отримані із застосуванням різних методів перекладу. Перед перекладеним текстом зазначено метод перекладу, дату перекладу в інтернеті та відсоткову оцінку BLEU CI.

Оригінальний текст англійською мовою:

Кожен хоче довгого, щасливого й здорового життя, і науковці роблять усе можливе, щоб це стало реальністю. Вони борються з деякими з найважливіших нинішніх проблем охорони здоров’я, а також із новими загрозами, такими як зростання впливу хвороби Альцгеймера, діабету та стійких до антибіотиків «супербактерій». Інвестиції в дослідження та інновації у сфері охорони здоров’я допоможуть нам залишатися активними, розробляти нові, безпечніші й ефективніші методи лікування, а також підтримувати наші системи охорони здоров’я та догляду

¹⁴ ALPMAVIS також доступна через інформаційну систему інтегрованих ресурсів литовської мови та писемності Raštija.lt (www.raštija.lt).

¹⁵ Iš programos HORIZON 2020. Europos Komisijos Mokslinių tyrimų ir inovacijų generalinis direktoratas 2014.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 11

життєздатним. Це надасть лікарям необхідні інструменти для більш персоналізованої медицини та посилить профілактику й лікування хронічних та інфекційних захворювань.

Переклад, виконаний перекладачем:

Усі хочуть жити довго й щасливо та бути здоровими, а науковці докладають усіх зусиль, щоб зробити це можливим. Вони намагаються розв’язати деякі з найважливіших наявних проблем охорони здоров’я та загроз здоров’ю, таких як дедалі більші проблеми, спричинені хворобою Альцгеймера, діабетом і мікроорганізмами, стійкими до антибіотиків. Інвестиції в дослідження та інновації у сфері охорони здоров’я допоможуть нам залишатися активними, розробляти нові, безпечніші й ефективніші методи лікування та підтримувати життєздатність наших систем охорони здоров’я. Вони нададуть лікарям засоби, необхідні для добору ліків відповідно до індивідуальних потреб пацієнтів; крім того, це сприятиме профілактиці й лікуванню хронічних та інфекційних захворювань.

Правила-орієнтований машинний переклад VDU, 2014 09 19, BLEU – 8,54:

Кожен хоче довгого, щасливого і здорового життя, і науковці прагнуть зробити це можливим. Вони розв’язують деякі з основних актуальних проблем охорони здоров’я, а також реагують на загрози, що виникають, такі як зростання впливу хвороби Альцгеймера, діабету та стійких до антибіотиків «супермікробів». Інвестиції в дослідження у сфері охорони здоров’я та інновації допоможуть нам залишатися активними, розробляти нові, безпечніші й ефективніші методи лікування та підтримувати життєздатність наших систем охорони здоров’я. Це надасть лікарям інструменти, необхідні для більш персоналізованої медицини, і посилить профілактику та лікування хронічних та інфекційних захворювань.

Статистичний машинний переклад ALPMAVIS, 2014 09 19, BLEU – 17,59:

Усі хочуть довгого, щасливого і здорового життя, і науковці прагнуть зробити це можливим. Вони займаються деякими з основних проблем охорони здоров’я та загрозами, що виникають, наприклад зростанням впливу хвороби Альцгеймера, діабету та стійких до антибіотиків «супермікробів». Інвестиції в дослідження у сфері охорони здоров’я та інновації допоможуть нам залишатися активними, створювати нові, безпечніші й ефективніші методи лікування та підтримувати життєздатність систем охорони здоров’я. Це надасть лікарям інструменти, необхідні для більш персоналізованої медицини, і сприятиме профілактиці й лікуванню хронічних та інфекційних захворювань.

Google статистичний машинний переклад, 2014 09 19, BLEU – 17,10:

Кожен із нас прагне довгого, здорового й щасливого життя, а науковці докладають усіх зусиль, щоб цього досягти. Вони беруться за розв’язання деяких із найважливіших проблем охорони здоров’я, а також нових загроз, наприклад зростання впливу хвороби Альцгеймера, діабету та «супермікробів», стійких до антибіотиків. Інвестиції в дослідження та інновації у сфері охорони здоров’я допоможуть нам залишатися активними, створювати нові, безпечніші й ефективніші методи лікування та підтримувати сталість наших систем охорони здоров’я. Це надасть лікарям інструменти, потрібні їм для застосування більш відповідних методів лікування, і сприятиме профілактиці та лікуванню інфекційних і хронічних захворювань.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 12

Microsoft Translator (Bing) статистичний машинний переклад, 2017 09 27, BLEU −16,68:

Кожен хоче прожити довге, щасливе й здорове життя, і науковці роблять усе можливе, щоб це стало реальністю. Вони борються з деякими головними проблемами сучасної охорони здоров’я, а також із новими загрозами, такими як хвороба Альцгеймера, діабет і дедалі більший вплив супербактерій, стійких до антибіотиків. Інвестиції в дослідження та інновації у сфері охорони здоров’я допоможуть нам залишатися активними, розробляти нові, безпечніші та ефективніші методи лікування, а також підтримувати життєздатність наших систем охорони здоров’я та медичного обслуговування. Вони забезпечать інструменти, необхідні для більш персоналізованої медицини, і посилять можливості лікарів щодо профілактики та лікування хронічних і інфекційних захворювань.

Наведені фрагменти машинного перекладу відображають типову якість машинного перекладу під час перекладу текстів загального характеру. Значно кращі переклади текстів загального характеру отримують лише тоді, коли текст, що перекладається, раніше використовувався для навчання системи. Об’єктивно оцінити якість перекладу системи машинного перекладу можна лише за допомогою текстів, які ніколи не входили до навчальних даних системи. Доводиться визнати, що реально діючі системи статистичного й заснованого на правилах машинного перекладу поки що погано перекладають тексти загального характеру литовською мовою.

4. НЕЙРОННИЙ МАШИННИЙ ПЕРЕКЛАД

У 2013 р. Нал Калчбреннер і Філ Блансом запропонували використовувати нейронні мережі для машинного перекладу (Kalchbrenner, Blunsom 2013: 1700–1709). Ідея залучити графічні процесори комп’ютерів до обчислень нейронних мереж відкрила можливості для розв’язання практичних задач, зокрема й для виконання машинного перекладу. Для реалізації нейронного машинного перекладу (НМП) використовуються мільйони штучних нейронів. Концепція НМП досить проста: кодер перетворює ціле речення мовою оригіналу у векторному просторі кількох сотень вимірів на так званий вектор думки¹⁶, який складається з послідовності чисел і таким чином відображає значення речення. Фактично цей вектор є векторизованою думкою речення. Напрямки векторів, що відображають споріднені предмети й ідеї, мало відрізняються¹⁷. Декодер генерує переклад на основі вектора думки. І кодер, і декодер побудовані на основі рекурентних нейронних мереж (Sutskever ir kt. 2014: 3104–3112; Cho ir kt. 2014: 1724–1734).

¹⁶ Термін популяризував Джеффрі Гінтон, один із найвідоміших творців штучного інтелекту.

¹⁷ У цьому можна переконатися, наприклад, експериментуючи із засобом векторизації word2vec (Mikolov ir kt. 2013: 3111–3119).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 13

РИС. 3. Трикутник Вокуа для нейронного машинного перекладу

На рис. 3 подано схему нейронного машинного перекладу за трикутником Вокуа¹⁸. Слід звернути увагу на те, що автоматично досягається високий рівень аналізу, наближений до інтерлінгви. Систему НМП навчають на паралельних корпусах текстів. Під час навчання рекурентні нейронні мережі автоматично кодують морфологічну, синтаксичну й семантичну інформацію, що міститься в реченнях, а також закономірності, виявлені на різних рівнях. Нарешті машинний переклад став невід’ємною частиною розвитку штучного інтелекту. Нейронний машинний переклад стрімко вдосконалюється й дає значно кращі результати, ніж заснований на правилах або статистичний машинний переклад.

Досліджуючи можливості НМП, невдовзі зіткнулися з новим явищем: нейронні мережі могли перекладати між такими парами мов, для яких ці мережі не навчали безпосередньо. Якщо систему НМП навчали перекладати з мови A на мову B, а також з мови A на мову C, то система здатна перекладати й з мови B на мову C (Johnson 2017: 339–351), щоправда, якість перекладу дещо нижча. Таке явище можна назвати перекладом без попереднього навчання (англ. zero-shot translation). Це означає, що нейронна мережа системи машинного перекладу під час навчання формує власну інтерлінгву, зрозумілу лише їй самій.

Наприкінці 2016 р. Google Translate почав використовувати нейронний переклад. Ось який вигляд має нейронний переклад нашого ілюстративного прикладу (Google нейронний машинний переклад, 2017 09 14, BLEU CI – 25,94):

¹⁸ Зображення нейронного машинного перекладу за трикутником Вокуа наведено в інтернет-публікації SYSTRAN 2016 р. «Pure Neural Machine Translation». Доступно в інтернеті: http://www.systransoft.com/download/white-papers/systran-white-paper-PNMT-12-2016_2.pdf, (дата звернення: 2017 11 06).

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 14

Усі хочуть довгого, щасливого й здорового життя, а науковці роблять усе, щоб це стало можливим. Вони розв’язують деякі з найважливіших сучасних проблем охорони здоров’я, а також протидіють новим загрозам, наприклад зростанню поширеності хвороби Альцгеймера, діабету та стійких до антибіотиків «супербактерій». Інвестиції в дослідження та інновації у сфері охорони здоров’я допоможуть нам зберігати активність, розробляти нові, безпечніші й ефективніші методи лікування, а також підтримувати життєздатність наших систем охорони здоров’я та догляду. Це надасть лікарям потрібні їм інструменти для більш індивідуалізованої медицини, а отже, посилить профілактику та лікування хронічних і інфекційних захворювань.

Слід визнати, що наш приклад нейронна мережа переклала незрівнянно якісніше, ніж системи машинного перекладу на основі правил або статистичних методів. Поки що GT не все перекладає так успішно: наприклад, при спробі перекласти Beauty requires no ornaments отримано — Grožis nereikalingas papuošalams. Подібні експерименти дають змогу виявити чимало випадків, коли GT перекладає зовсім погано, отже, ще є над чим працювати.

У 2018 році Вільнюський університет планує розпочати впровадження нейронного машинного перекладу нового покоління для англійської, литовської, польської, французької, російської та німецької мов. До системи перекладу буде інтегровано автоматичне перетворення тексту на мовлення та переклад тексту, надиктованого литовською мовою.

5. ЗАКЛЮЧНІ ЗАУВАЖЕННЯ

Сьогодні прогрес машинного перекладу вже невіддільний від досягнень у створенні штучного інтелекту. За якістю перекладу всі класичні методи МП потребують удосконалення, їхні можливості ще не вичерпані, і незрозуміло, де проходять їхні межі. Романтичний період легких досягнень завершився; евристичні математичні чи інженерні методи не завжди допомагають. Діти опановують мову ніби автоматично, без зусиль, але згодом їхнє мовлення вдосконалюється лише завдяки вивченню граматики та літератури. Схоже, що без суттєвого залучення мовознавців подальше вдосконалення машинного перекладу навряд чи можливе. Такому залученню сприяють засоби машинного перекладу, реалізовані на платформах із відкритим кодом: наприклад, Apertium для перекладу на основі правил (Forcada ir kt. 2011: 127–144); Moses (Koehn ir kt. 2007b: 177–180), LetsMT! (Vasiljevs ir kt. 2012: 43–48) — для статистичного, TensorFlow, OpenNMT — для нейронного перекладу. Слід сподіватися, що литовські мовознавці об’єднають зусилля, щоб розв’язати сучасні виклики комп’ютерної лінгвістики, адже деякі з них мають екзистенційне значення для нашої мови.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 15

LITERATŪRA

Banerjee S., Lavie A. 2005: METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. – Proceedings of Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization at the 43th Annual Meeting of the Association of Computational Linguistics (ACL-2005), Ann Arbor, Michigan, 62–72.

Bar-Hillel Y. 1958: Some linguistic obstacles to machine translation. – Proceedings of the Second International Congress on Cybernetics, Namur, 197–207.

Bojar O. 2007: English-to-Czech factored machine translation. – Proceedings of the Second Workshop on Statistical Machine Translation, Prague, Czech Republic, 232–239.

Brown P. F., Cocke J., Della Pietra S. A., Della Pietra V. J., Jelinek F., Mercer R. L., Roossin P. S. 1988: A statistical approach to language translation. – Proceedings of COLING 1988: The 12th International Conference on Computational Linguistics, Budapest, 71–76.

Brown P. F., Della Pietra S. A., Della Pietra V. J., Mercer R. L. 1993: Mathematics of statistical machine translation: Parameter estimation. – Computational Linguistics 19(2), 263–311.

Cho K., Bart van Merrienboer, Gulcehre C., Bougares F., Schwenk H., Bengio Y. 2014: Learning phrase representations using RNN encoder-decoder for statistical machine translation. – Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), Association for Computational Linguistics, Doha, Qatar, 1724–1734.

Commission of the European Communities 1994: Final Evaluation Of The Results Of Eurotra: A Specific Programme Concerning The Preparation Of The Development Of An Operational Eurotra System For Machine Translation. DIANE Publishing Company, 1995, 194.

Daubarienė A., Ziezytė G. 2013: Machine translation: translated texts in terms of standards of textuality. – Kalbų studijos 22, 55–61.

Daudaravičius V., 2006: Pradžia į begalybę. Mašininis vertimas ir lietuvių kalba. – Darbai ir dienos: Pažangos šuoliai 45, 7–18.

Daumas M. 1965: Les machines à traduire de Georges Artsrouni. – Revue d'histoire des sciences et de leurs applications, tome 18, n°3, 283–302.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 16

De Beaugrande R. A., Dressler W. U. 1981: Introduction to Text Linguistics, London: Longman, 270.

Doddington G. 2002: Automatic Evaluation of Machine Translation Quality Using Ngram Co-occurrence Statistics. – Proceedings of the Second International Conference on Human Language Technology Research, San Francisco, CA, USA., Morgan Kaufmann Publishers Inc., 138–145.

Forcada M. L, Ginestí-Rosell M., Nordfalk J., O'Regan J., Ortiz-Rojas S., Pérez-Ortiz J. A., Sánchez-Martínez F., Ramírez-Sánchez G., Tyers F. M. 2011: Apertium: a free/open-source platform for rule-based machine translation. – Machine Translation 25 (2), Free/Open-Source Machine Translation (June 2011), 127–144.

Hajič J., Hric J., Kuboň V. 2000: Machine Translation of Very Close Languages. – Proceedings of the 6th Applied Natural Language Processing Conference, Association for Computational Linguistics, 7–12.

Homola P., Rimkutė E. 2004: Artimų kalbų mašininis vertimas. – Kalbų studijos 6, 77–81.

Hutchins J. 2004a: Two precursors of machine translation: Artsrouni and Trojanskij. – International Journal of Translation 16(1), 11–31.

Hutchins J. 2004b: The Georgetown-IBM experiment demonstrated in January 1954. – Proceedings of the 6th Conference of the Association for Machine Translation in the Americas, AMTA, Washington, DC, 102–114.

Johnson M., Schuster M., Le V. Q., Krikun M., Wu Y., Chen Z., Thorat N., Viégas F. B., Wattenberg M., Corrado G., Hughes M., Dean J. 2017: Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation. – Transactions of the Association of Computational Linguistics 5 (1), 339–351.

Kalchbrenner N., Blunsom P. 2013: Recurrent Continuous Translation Models. – Proc. of EMNLP, October, Association for Computational Linguistics, Seattle, Washington, USA, 1700–1709.

Koehn P., Hoang H. 2007a: Factored translation models. – Proceedings of the Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, ACL, 868–876.

Koehn P., Hoang H., Birch A., Callison-Burch C., Federico M., Bertoldi N., Cowan B., Shen W., Moran C., Zens R., Dyer C., Bojar O., Constantin A., Herbst E. 2007b: Moses: Open source toolkit for statistical machine

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 17

translation. – 45th Annual Meeting of the Association for Computational Linguistics (ACL), Companion Volume, 177–180.

Koehn P., Och F. J., Marcu D. 2003: Statistical phrase-based translation. – Proceedings of HLT-NAACL, 127–133.

Kos K., Bojar O. 2009: Evaluation of Machine Translation Metrics for Czech as the Target Language. – Prague Bull. Math. Linguistics 92, 135–148.

McCulloch W., Pitts W. 1943: A logical calculus of the ideas immanent in nervous activity. – Bulletin of Mathematical Biophysics 5, 115–133.

Mikolov T., Sutskever I., Chen K., Corrado G. S., Dean J. 2013: Distributed Representations of Words and Phrases and their Compositionality – Proceedings of the 26th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, Vol. 2, 3111–3119.

Mitamura T., Nyberg E., Carbonell J. 1991: An efficient interlingua translation system for multi-lingual document production. – Proceedings of Machine Translation Summit III, Washington, DC. Perspausdinta: – Progress in Machine Translation, ed. S. Nirenburg, IOS Press, (1993), 105–118.

Papineni K., Roukos S. Ward T., Zhu W. J. 2002: BLEU: a method for automatic evaluation of machine translation. – ACL-2002: 40th Annual meeting of the Association for Computational Linguistics, 311–318.

Reifler E. 1960: The solution of MT linguistic problems through lexicography. – Proceedings of the National Symposium on Machine Translation, (February 2–5, 1960), ed. H.P. Edmunson, London: Prentice-Hall, (1961), 312–316.

Rimkutė E., Kovalevskaitė J. 2008: Linguistic Evaluation of the First English-Lithuanian Machine Translation System. – Proceedings of the Third Baltic Conference on Human Language Technologies (2007), Kaunas, 257–264.

Skadinš R., Goba K., Šics V. 2010: Improving SMT for Baltic Languages with Factored Models. – Proceedings of the Fourth International Conference Baltic HLT, Frontiers in Artificial Intelligence and Applications, Vol. 219, IOS Press, 125–132.

Snover M., Dorr B., Schwartz R., Micciulla L., Makhoul J. 2006: A Study of Translation Edit Rate with Targeted Human Annotation. – Proceedings of the 7th Conference of the Association for Machine Translation in the Americas, Morristown, NJ, USA, 223–231.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 18

Sutskever I., Vinyals O., V. Le Q. V. 2014: Sequence to sequence learning with neural networks. – Proceedings of the 27th International Conference on Neural Information Processing Systems, Montreal, Canada, Vol. 2, MIT Press Cambridge, MA, USA, 3104–3112.

Šveikauskienė D. 2005: Graph Representation of the Syntactic Structure of the Lithuanian Sentence. – Informatica 16 (3), 407–418.

Toma P. 1977: Systran as a multilingual machine translation system. – Proceedings of the Third European Congress on Information Systems and Networks, Overcoming the language barrier, München, 569–581.

Vasiljevs A., Skadiņš R., Tiedemann J. 2012: LetsMT!: a cloud-based platform for do-it-yourself machine translation – Proceedings of the ACL, System Demonstrations, Jeju Island, Korea, 43–48.

Vauquois B. 1976: Automatic translation – A survey of different approaches. – COLING-76, Ottawa. Perspausdinta: – Readings in machine translation, eds. S. Nirenburg, H. L. Somers, Y. Wilks, MIT Press, (2003), 333–337.

Weaver W. 1949: Translation. – Perspausdinta: – Machine Translation of Languages, MIT Press, Cambridge, MA. (1955), 15–23.

Įteikta 2017 11 13

Priimta 2017 12 20

MACHINE TRANSLATION FOR LITHUANIAN LANGUAGE

Summary

The paper presents a historical overview as well as current state of the art of the machine translation. Translation from another language is always a certain intellectual challenge. In 1949 Warren Weaver suggested using computers to translate texts. The term "machine translation" (MT) appears. Machine translation has been rapidly developing during the first decades in order to gain a strategic advantage in the Cold War. Most popular translated languages were Russian and English. Word-to-word translation and large bilingual dictionaries covering more than 170,000 words prevailed.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Masininis vertimas lietuvių kalbai | 19

In the 1950s and 1960s, machine translation systems appeared which could be called rule-based. They are based on the assumption that a language can be described using a set of rules (including grammatical). It was a rather optimistic period – it was expected to create a perfect machine translation in a few years. But a computer hardly "understands" grammar. Highly inflected languages require tens of thousands thoroughly hand-tuned and mutually consistent rules. Nobody has done this properly yet. The most advanced systems were the SYSTRAN MT system, launched in the European Commission and the Russian PROMT translation system. Subsequently, the rule-based MT progress slowed down. The EUROTRA project (1982–1992), by some estimates costing more than 50,000,000 ECU, fails – even hundreds of recruited specialists failed to create a functioning MT system. This marked a serious rule-based MT crisis. Development simply stalled for many forthcoming years.

The question was raised: if we cannot write so many rules, can it be translated without grammar at all? In 1990 a new breakthrough emerges – the research team at the IBM Thomas J. Watson Research Center formulates the basics of statistical machine translation. The translation process has been considered as a transmission of a certain message over a noisy channel. Decoding then has been performed on the basis of the Bayesian theorem. Translation is based on text corpora, especially on large parallel bilingual text corpora. There was a rapid improvement of statistical MT. The EuroMatrix project, supported by the European Commission, has created a universal open source machine translation software package MOSES, based on industry-level MT systems. Good results have been obtained – it turns out that you can translate without any dictionary or grammar! This method has greatly facilitated the translation of highly inflected languages too.

The achievements of machine translation today are effectively applied to the Lithuanian language as well. During 2005–2007 Vytautas Magnus University has carried out an EU-funded project "Internet Information Translator". The result was a public online translation service from English to Lithuanian. (http://vertimas.vdu.lt/twsas/). The rule-based translation engine was provided by the Russian company PROMT, while other linguistic resources were prepared in Lithuania. The overall quality of text translation in BLEU metrics (in percent) is about 10. In practice, this means that only every third sentence can be adequately understood. This translation tool still has considerable potential for improving, for example by expanding phrase dictionary. Since September 25, 2008 Google Translate also supports Lithuanian. According to the results of the tests (2014), the BLEU translation quality was estimated to be around 17.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 20

2012–2014 Vilnius University implemented the EU-funded project "Creation of English-Lithuanian-English and French-Lithuanian-French machine translation system based on statistical methods". The result was a public online translation service (https://www.versti.eu/). According to the tests carried out in 2014, the BLEU estimates of the translation quality exceeded more than twice the rule-based translation results and were practically equivalent to the Google translation system. When translating the documents of certain domain (such as law) the achieved BLEU score is roughly twice as high as translating general texts and far exceeds Google's results (19-09-2014). However, even the best machine translations often require human intervention and final editing in order to get the perfect translation. So, can machines ultimately translate fine?

The last few years promise new breakthroughs using a neural machine translation. Neural networks themselves construct transformation rules. It is likely that in the near future the neural MT systems will translate better than an average translator. In 2018 Vilnius University is preparing to launch the EU-funded project of a new generation neural machine translation of English, Lithuanian, Polish, French, Russian and German.

Thus, the latest achievements in machine translation apply to the Lithuanian language as well.

KEYWORDS: Lithuanian, machine translation, computational linguistics, history, neural networks, artificial intelligence.

DANIELIUS ALGIRDAS RALYS

Vilniaus universiteto Taikomųjų mokslų institutas

M. K. Čiurlionio g. 29, 03100 Vilnius

[email protected]

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204