DANIELIUS ALGIRDAS RALYS

Vilniusi Egyetem

GÉPI FORDÍTÁS LITVÁN NYELVRE¹

KULCSSZAVAK: litván nyelv, történelem, számítógépes nyelvészet, gépi fordítás, neurális hálózatok, mesterséges intelligencia.

BEVEZETÉS

Ma egyre több szöveget fordítanak számítógépek. Az ilyen automatikus számítógépes fordítást leggyakrabban gépi fordításnak (MV) nevezik. A gépi fordítás általában azt a célt szolgálja, hogy a lehető leggyorsabban eligazodjunk a több nyelvű információ hatalmas áradatában, illetve hogy saját információinkat a lehető legszélesebb körben terjesszük. A nemzetek és nyelvek közötti elektronikus információcsere a mindennapi élet fontos részévé válik, új lehetőségeket nyit nyelvünk előtt, és új kihívások, problémák elé állítja.

A „gépi fordítás” (angolul: machine translation) kifejezést a múlt század közepén elsőként Warren Weaver használta, aki azt javasolta, hogy az akkoriban megjelent számítógépeket szövegek fordítására alkalmazzák (Weaver 1949: 1). W. Weaver azt javasolta, hogy a másik nyelven írt szöveget tekintsük dekódolható titkosított üzenetnek. A brit és amerikai szakemberek kriptográfiai eredményei a nemrég véget ért második világháborúban optimizmust keltettek. Akkoriban őszintén hittek abban, hogy az elektronikus gépek néhány éven belül segítenek leküzdeni Bábel tornyának átkát.

A fordítás fejlődése azonban lassú volt, a gépi fordítás minősége pedig meg sem közelítette az emberi fordításét. Hetven év elteltével, vitathatatlan sikerek és csalódások, valamint rengeteg elvégzett munka után a gépi fordítás közösségében ismét optimista hangulat uralkodik. Ezúttal a reményeket a mesterséges neurális hálózatokba és a mesterséges intelligencia fejlesztésének gyors előrehaladásába vetik.

A gépi fordítás a litván nyelvet sem kerülte el. Ma könnyen hozzáférhető internetes gépi fordítási eszközök fordítanak a legnépszerűbb nyelvekről litvánra és vissza. A legtöbb eszköz fordítási minősége még meglehetősen gyenge, az általuk lefordított szövegeket szerkeszteni kell. Jobb minőségével csak a Google Translate² fordítóeszköz tűnik ki, amelyben elkezdték használni

¹ A cikk a „Gépi fordítás litván nyelvre” című előadás alapján készült, amelyet Vilniusban, a 24. Jonas Jablonskis Nemzetközi Konferencián, „Digitális nyelvi erőforrások, fejlesztési irányaik és felhasználási lehetőségeik” címmel tartottak 2017. szeptember 29-én.

² Online elérés https://translate.google.com.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 2

neurális fordítási technológiák. Az ezzel az eszközzel lefordított mondatok többsége megőrzi az eredeti nyelvű jelentését.

A gépi fordítást széles körben használják más nyelvű információk terjesztésére. A gépi fordítás eredményeit gyakran felelőtlenül, szerkesztetlenül töltik fel az internetre. Az ilyen cselekedetek következményei már láthatók: az internet tele van rossz minőségű, eltorzított információkat tartalmazó litván szövegekkel, amelyeket valamely gépi fordítóprogram automatikusan állított elő³. Az ilyen szövegek fokozatosan a szövegkorpuszokba is beszivároghatnak. A gépi fordítás már mindennapi, olykor meglepő, máskor pedig szemet szúró valósággá vált, amely nemcsak a nyelvészek figyelmesebb tekintetét, hanem a gépi fordítás fejlesztésében való jelentősebb részvételüket is megérdemli.

Ez a cikk röviden bemutatja a gépi fordítás (MV) történetét, és ismertet néhány, annak fejlődésére hatást gyakorló elképzelést. Bemutatja a különböző fordítási technológiák litván nyelvre elért eredményeit. Elemzi a gépi fordítás litván nyelvre való alkalmazásának lehetőségeit szabályalapú, statisztikai és neurális módszerekkel. Helyhiány miatt nem tárgyalja azokat a kísérleteket, amelyek e módszerek közül többet egyetlen fordítórendszerben egyesítenek.

1. A GÉPI FORDÍTÁS EREDETE

Egy másik nyelvről való jó fordítás mindig bizonyos intellektuális kihívást jelent az ember számára, a fordítás pedig soha nem volt könnyű feladat. Nem csoda, hogy igyekeztek valamiképpen automatizálni a fordítást. 1932 és 1935 között Franciaországban Georges Artsrouni mérnök feltalált és megépített egy univerzális mechanikus készüléket, amelyet mechanikus agynak (franciául: cerveau mécanique) nevezett; a készülék egyéb funkciói mellett arra is alkalmas volt, hogy a begépelt szöveget több nyelvre lefordítsa (Hutchins 2004a: 12). Ebben az elektromechanikus készülékben egy hosszú, akár 40 méteres, hajlékony kartonból készült memóriaszalag forgott. Többnyelvű szótárt rögzítettek rajta, amely akár több tízezer szót is tartalmazhatott. A billentyűzeten begépelt francia szót mechanikusan kódolták, és a kód alapján a memóriaszalag a megfelelő helyre fordult. Néhány másodperc elteltével a készülék megjelenítette a beírt szó fordítását (Daumas 1965: 294–295). A készüléket 1937-ben a párizsi világkiállításon mutatták be; nagy érdeklődést keltett, és elnyerte a Nagydíjat. Valójában ez volt a világ első

³ Jonathan Swift a Gulliver utazásai című művében szarkasztikusan ír le egy gépet, amely értelmetlen szókapcsolatokat állít össze, ezeket pedig szorgosan könyvekbe jegyzik. Manapság ugyanez a képtelenség sokkal gyorsabban előállítható...

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 3

működő mechanikus szótár. G. Artsrouni később tovább tökéletesítette készülékét, ám a mechanikai problémák és a második világháború kitörése félbeszakították a munkát.

1933-ban a Szovjetunióban Piotras Smirnovas-Trojanskis szerzői tanúsítványt kapott egy elektromechanikus fordítógépre⁴. Bár ezt a gépet soha nem gyártották le, a feltaláló számos értékes gépi fordítási elképzelést fogalmazott meg, amelyek csak sok évvel később, a számítógépek megjelenésével valósultak meg. P. Smirnovas-Trojanskis oroszul beszélt, ezért jól értette a flektáló nyelvek sajátosságait. Azt javasolta, hogy a fordítási folyamatot három szakaszra osszák: az első szakaszban az embernek lemmákra kell redukálnia a szöveget, és morfológiai-szintaktikai címkékkel kell ellátnia őket (elemzési szakasz); ezután a második szakaszban a gép automatikusan megkeresi a célnyelv vagy célnyelvek megfelelő lemmáit, és ugyanazokat a címkéket rendeli hozzájuk (transzformációs szakasz); a harmadik szakaszban pedig a szerkesztőnek a fordítási lemmák és címkéik alapján gördülékeny fordításszöveget kell készítenie (generálási szakasz). P. Smirnovas-Trojanskis különböző módszereket is javasolt a szinonimák, homonimák és idiómák fordítására. P. Smirnovas-Trojanskis elképzeléseit szülőhazájában nem méltányolták, és nem érte meg a számítógépek korszakát⁵, ám a feltaláló elképzelései nem merültek feledésbe, később Nyugaton is ismertté váltak.

A gyakorlati gépi fordítás korszaka a számítógépek megjelenésével kezdődött. 1947-ben W. Weaver levélben fordult a zseniális nyelvészhez és számítógép-tervezőhöz, Norbert Wienerhez, és azt kérdezte, hogy a kriptográfia legújabb eredményei és a nemrég megjelent számítógépek⁶ felhasználhatók-e a nyelvek fordítására. W. Weaver úgy vélte, hogy bármely orosz szöveg az angol üzenet cirill betűkkel kódolt változataként kezelhető. Úgy gondolta, hogy a számítógépek egyszerűen megfejthetik ezt az üzenetet. N. Wiener válasza sajnos szkeptikus volt.

1949-ben W. Weaver szélesebb közönségnek küldött memorandumot, amelyben számítógépek szövegfordításra való felhasználását javasolta (Weaver 1949: 7)⁷. Abban az időben az amerikai és brit laboratóriumokban az egyszerű, szó szerinti gépi fordítás elképzelései uralkodtak. A tudós biztos volt benne, hogy a számítógépek sokkal tökéletesebben tudnak fordítani. Memorandumában W. Weaver négy irányt javasolt a fordítási problémák megoldására és kutatására. Mindenekelőtt azt javasolta, hogy statisztikailag elemezzék a lefordítandó szó közvetlen környezetét, és így oldják meg a poliszémia problémáit. Ez a felismerés ma a statisztikai gépi fordítás alapját képezi. A második javaslat azon a feltevésen alapult, hogy a nyelvben

⁴ A szerzői tanúsítványban ezt az eszközt úgy nevezik: „szavak kiválasztására és kinyomtatására szolgáló gép, amikor egyik nyelvről egy másikra vagy egyidejűleg több nyelvre fordítanak”.

⁵ P. Smirnovas-Trojanskis 1950-ben halt meg.

⁶ Az első brit elektronikus számítógép, a Colossus 1944 elején kezdett működni, az első amerikai elektronikus digitális számítógépet, az ENIAC-ot pedig 1945 végén építették meg. Az első szovjet számítógép, a MESM 1950-ben készült el.

⁷ W. Weaver e memorandumában hamar meghonosodott a gépi fordítás (angolul: machine translation) kifejezés.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 4

logikai elemekből áll, ezért neurális hálózati modellek alkalmazásával (McCulloch, Pitts 1943: 115–133) elvileg le lehetne vezetni a fordítást az eredeti nyelvben rejlő előfeltevésekből. Az idő igazolta e felismerés zsenialitását – ma a neurális gépi fordítási módszer fordít a legjobb minőségben. A problémamegoldás harmadik irányának a kriptográfiai módszerek nyelvi fordításban való alkalmazását kellene alkotnia. Negyven évvel később ez a statisztikai gépi fordítás algoritmusaiban valósult meg. A negyedik javaslat szemléltetésére W. Weaver egy allegorikus képet rajzolt, amelyen az emberek különböző nyelveket jelképező, magas, zárt tornyokban laknak. Az emberek valahogy mégis képesek kommunikálni azzal, hogy a vastag toronyfalakon keresztül kiabálnak egymásnak. Szerencsére a tornyoknak közös alapjuk és pincéjük van; csak le kell oda menni, és akkor könnyebb lesz kommunikálni. W. Weaver szerint a világ nyelveiben rejlik valamiféle közös mélyszerkezet, amelyet még fel kell tárni. A tudós utóbbi javaslata az egyetemes nyelv – a gépi fordítás interlingvája⁸ – keresésére és megalkotására ösztönzött.

W. Weaver memorandumát követően a gépi fordítás hamar lendületbe jött. 1954-ben New Yorkban nyilvánosan bemutattak egy gépi fordítási rendszert, amely az IBM vállalat és a Georgetown Egyetem együttműködésében készült. Oroszról angolra fordított. A rendszerbe mindössze hat nyelvtani szabályt programoztak be, a fordításhoz pedig körülbelül 250 szót használtak (Hutchins 2004b: 102). A rendszer a szerves kémia témakörére irányult, a fordítási példákat előre gondosan megválogatták. A kísérlet után abban reménykedtek, hogy néhány év múlva a gépek már kiválóan fordítanak majd, a további munkára pedig bőkezű finanszírozást ítéltek meg. A gépi fordítás gyors fejlődésnek indult az Amerikai Egyesült Államokban (JAV) és a Szovjetunióban, a hidegháborúban elérendő stratégiai előny megszerzése érdekében. A leggyakrabban fordított nyelvek az orosz és az angol voltak.

2. SZABÁLYALAPÚ GÉPI FORDÍTÁS

A múlt század ötvenes éveinek közepén megjelentek a gépi (számítógépes) fordítási rendszerek, amelyeket szabályalapúaknak kezdtek nevezni (angolul rule-based). Ezeket abból a kiindulópontból fejlesztették, hogy a nyelv bizonyos szabályok – köztük nyelvtani szabályok – rendszerével leírható. E módszer alkalmazásakor az eredeti nyelv mondatát egy meghatározott szintig elemzik, megállapítják a mondat szerkezetét, majd a kidolgozott szabályok szerint átalakítják a célnyelv megfelelő szerkezetévé, amely alapján létrehozzák a célnyelvi mondatot. A különböző nyelvek mondatszerkezetei jelentősen eltérhetnek, és olyan sajátosságaik lehetnek, amelyeket a gépi fordítási rendszerben tükrözni kell.

⁸ Nem szabad összetéveszteni a természetes nyelvi interlingvákkal – az eszperantóval, az idóval, a volapükkel és hasonlókkal.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 5

rendszerben. A litván mondat gépi fordításra alkalmas szintaktikai szerkezeteinek ábrázolásával kapcsolatos problémákat Daiva Šveikauskienė kutatta (2005: 411–417). A szabályalapú gépi fordítási rendszereknek különféle változatai vannak, amelyek az elemzés mélysége szerint térnek el egymástól (1. ábra⁹). Minél mélyebb a mondat elemzése, annál egyszerűbb az átalakítás. Ideális esetben, ha a szöveget az interlingva szintjéig elemezzük, semmiféle átalakításra nem lenne szükség – a szöveg interlingvális reprezentációjának minden nyelvben azonosnak kellene lennie.

1. ÁBRA. A szabályalapú gépi fordítás Vauquois-háromszöge

A szabályalapú gépi fordítás problémáit empirikus és nyelvészeti módszerekkel egyaránt megpróbálták megoldani. Az empiristák táborában a közvetlen fordítás módszere volt a legnépszerűbb. E módszerrel két nyelv között csak szótárt és egyszerű programozási szabályokat használnak; gyakorlatilag nem végeznek nyelvi elemzést vagy szintaktikai átrendezést (ez a módszer az 1. ábra legalacsonyabb szintjének felel meg). Az Egyesült Államokban a múlt század ötvenes éveiben Erwin Reifler vezetésével kutatócsoport dolgozott a gépi fordításhoz szükséges speciális szótárakon, amelyekben a lexikai ekvivalensek mellett a szavak helyi sorrendjének megváltoztatására vonatkozó szabályok is szerepeltek. Emellett számos kifejezés fordítását és általánosító fogalmakat (angolul cover terms) is megadtak a poliszémia problémáinak kezelésére. 1964-ben kezdte meg működését a Mark II orosz–angol közvetlen fordítási rendszer, amelyet az Egyesült Államok légierejének megrendelésére fejlesztettek ki. E. Reifler szótárát használták fel benne, amely több mint 170 000 szót tartalmazott (Reifler 1960: 312).

A nyelvészeti módszereket szélesebb körben a Georgetown Egyetemen alkalmazták, ahol a gépi fordítás kutatóinak népes csoportja gyűlt össze, és több, különböző módszereket alkalmazó csoportra oszlott.

⁹ Az ilyen ábrákat gyakran Vauquois-háromszögnek nevezik; ezt az ábrázolási módszert Bernard Vauquois, a francia gépi fordítás úttörője javasolta (1976: 335).

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 6

csoportokban. A Michael Zarechnak vezette csoportban dolgozták ki a Georgetown automatikus fordítási (angolul GAT – Georgetown Automatic Translation) rendszert. Ebben háromszintű elemzést végeztek: morfológiai (beleértve az idiómák azonosítását is), szintaktikai és szintagmatikai elemzést. A módosított GAT rendszert 1963-ban sikeresen kezdték használni az Euratomban (Ispra, Olaszország), majd 1964-ben az Egyesült Államok Atomenergia-bizottságában. Egy interlingvára épülő gépi fordítási rendszer kidolgozása sokkal tovább tartott. A KANT, az első kereskedelmi értékkel bíró gépi fordítási rendszer csak a múlt század utolsó évtizedében jelent meg (Mitamura és mtsai. 1991: 105–118). A rendszert bizonyos műszaki szövegek fordítására használták. A köznyelv kifejezésére szolgáló interlingva azonban soha nem készült el.

Az IBM–Georgetown gépi fordítási bemutatóját követő teljes évtizedben nagy erőfeszítéseket tettek a gépi fordítás minőségének jelentős javítására¹⁰, az előrelépés azonban igen csekély volt. 1966-ban az Egyesült Államokban létrehozott ALPAC (angolul Automatic Language Processing Advisory Committee) bizottság úgy döntött, hogy a gépi fordításnak a közeljövőben nincs kilátása, mivel gyenge minőségű, és még a fordítónak is szerkesztenie kell, ami több időt vesz igénybe, mint a gépek nélküli fordítás. Az ALPAC bizottság figyelmen kívül hagyta azt a tényt, hogy a gépi fordítás óriási mennyiségű információ lefordítását teszi lehetővé, és sok felhasználónak megfelel a gyenge, csupán a jelentést közvetítő fordítás is. A bizottság kedvezőtlen megállapításai után az Egyesült Államokban gyakorlatilag több évtizedre megszűnt a gépi fordítási projektek finanszírozása, és más országokban is visszaesett a támogatás.

A gépi fordítással szembeni szkeptikus hozzáállás ellenére a területen folyamatos volt az előrelépés. Az 1968-ban az Egyesült Államokban fejleszteni kezdett SYSTRAN szabályalapú fordítórendszert (Toma 1977: 569–581) folyamatosan tökéletesítették, később pedig kereskedelmi forgalomba került. A rendszert az Egyesült Államok Védelmi Minisztériuma, a NASA, az Euratom, az Európai Bizottság és sok más szervezet is használni kezdte. Egy 1975-ös kereskedelmi megállapodás alapján az Európai Bizottság jogot kapott arra, hogy saját igényei szerint fejlessze a rendszert. A rendszer bizonyos szakterületek szövegeit meglehetősen jól fordította számos nyelvre. 2010-től a SYSTRAN hibrid technológiákat kezdett alkalmazni. Más országokban is megjelentek jól működő gépi fordítási rendszerek: az ARIANE (Grenoble-ban, Franciaországban), a hozzá hasonló MU rendszer (Kiotóban, Japánban), valamint a SUSY (Saarbrückenben, Németországban). Az európai EUROTRA projekt (1982–1992), amely több mint 50 000 000 ECU¹¹ költséggel járt, kudarccal végződött: a szakemberek százai sem tudtak működő gépi fordítási rendszert létrehozni. Ezzel kezdetét vette a szabályalapú gépi fordítás súlyos válsága. Ezt követően sok éven át egy helyben topogtak.

¹⁰ Az Egyesült Államok ebben az időszakban mintegy 20 millió dollárt költött a gépi fordítási rendszerek fejlesztésére és tökéletesítésére.

¹¹ Az Európai Közösségek Bizottságának 1994-es jelentése (angolul CEC – Commission of the European Communities) az EUROTRA finanszírozására vonatkozó adatokat közöl: a Bizottság 1982–1992 között 37,5 millió ECU-t fordított a projektre (CEC 1994: 3.10), a különböző országok kormányai pedig további több mint 20 millió ECU-val támogatták az EUROTRA tizenhat központját (CEC 1994: A4.2).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 7

A szabályalapú gépi fordítás csak ebben az évszázadban jelent meg Litvániában. 2003–2004-ben a Česilko gépi fordítási rendszert (Hajič és mtsai. 2000: 10–12) adaptálták a litván nyelvre (Homola, Rimkutė 2004: 77–81). Ebben az időszakban Petras Homola és Erika Rimkutė a rendszer cseh és litván nyelv közötti gépi fordítási lehetőségeit vizsgálta. 2005–2007-ben a Vytautas Magnus Egyetem az Európai Unió strukturális alapjai által finanszírozott „Internetes információfordító eszköz” című projektet valósította meg. A tervezett gépi fordítási rendszer felépítését Vidas Daudaravičius ismertette (2006: 7–18). Létrehoztak egy nyilvános online fordítóeszközt angolról litvánra¹². A fordítómotort az orosz PROMT vállalat biztosította. A rendszer nyelvi komponenseinek egy részét Litvániában készítették elő. A rendszer csak bizonyos mondattípusokat fordított kiválóan, a jó fordítások kisebbségben voltak. 2007-ben elvégezték a gépi fordítási rendszer nyelvi értékelését (Rimkutė, Kovalevskaitė 2008: 257–264). Audronė Daubarienė és Greta Ziezvytė (2013: 55–61) azt értékelte, hogy a VDU gépi fordítási rendszerének fordításai megfelelnek-e a szövegszerűség kritériumainak (De Beaugrande, Dressler 1981: 3). A szerzők munkájukban megállapították, hogy a vizsgált, különböző műfajú gépi fordítású szövegek számos szemantikai hiba miatt nem feleltek meg a koherencia és néhány más szövegszerűségi kritériumnak, ezért ezek a fordítások nem tekinthetők elfogadhatónak és informatívnak az olvasó számára.

Az évtizedek múltával, és lényegében egy helyben topogva, fokozatosan felismerték, hogy a nyelv rendkívül összetett jelenség, amelyet nagyon nehéz szabályokkal leírni. A többértelműség és az anaforák fordításának problémáira a világ felépítésére és logikájára vonatkozó extralingvisztikai információk felhasználását javasolták (Bar-Hillel 1958: 197–207). Ilyen rendszerezett információ azonban egyszerűen nem állt rendelkezésre, a szöveg jelentésének formális leírása pedig nehezebb feladatnak tűnt magánál a fordításnál. Nyilvánvaló volt, hogy a gépi fordítás problémái forradalmi megoldásokat igényeltek.

2. STATISZTIKAI GÉPI FORDÍTÁS

1988-ban az IBM kutatócsoportja (Brown és mtsai. 1988: 71–76) azt javasolta, hogy a gépi fordításban a párhuzamos szövegkorpuszokban rejlő információt használják fel a legvalószínűbb fordítási változatok keresésére. A javasolt fordítási modell azon a feltételezésen alapul, hogy egy zajos csatornában az eredeti nyelvű mondat f átalakul a célnyelv e mondatává. A csatornában lévő zaj statisztikailag torzítja az eredeti nyelv f mondatát, így a csatorna kimenetén különféle e mondatokat kaphatunk: ezek különböző hosszúságúak lehetnek, és a célnyelven lehet valamiféle jelentésük, vagy egyáltalán nem is lehet értelmük. Mivel a csatorna igyekszik helyesen fordítani, a zajon keresztül egyre gyakrabban jutnak át a helyes fordítási változatok.

¹² Online elérhető http://vertimas.vdu.lt/twsas/.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 8

Ebben a modellben feltételezzük, hogy amikor egy mondatot küldünk a csatornába f, a legmegfelelőbb fordítási változat ê az összes e közül az, amelynek a csatorna kimenetén való megjelenésének feltételes valószínűsége p(e|f) a legnagyobb, azaz

ê = argmax_e p(e|f).

Itt azzal a problémával szembesülünk, hogy a legjobb fordítási változat ê megtalálásához nemcsak a célnyelv összes lehetséges mondatát, hanem az ottani szókapcsolatok mindenféle változatát is át kell tekinteni. Ilyen mennyiségű valószínűség kiszámítása nagyon nehéz. A Bayes-tétel alkalmazásával egy könnyebben kiszámítható, ekvivalens kifejezést kapunk (Koehn és mtsai. 2003: 127):

argmax_e p(e|f) = argmax_e p(f|e) p(e)

Ši lygtis yra pamatinė statistinio mašininio vertimo lygtis (Brown ir kt. 1993). Joje sąlyginė tikimybė p(f|e) parodo tikimybę, kad kanalu buvo pasiųstas sakinys f, jei išėjime pasirodė sakinys e. Šis lygties narys vadinamas vertimo modeliu, kuris apskaičiuojamas iš dvikalbių tekstynų. Antrasis lygties narys p(e) parodo sakinio e tikimybę vertimo kalboje. Šis narys aprašo kalbos modelį, kuris apskaičiuojamas iš vienkalbių vertimo kalbos tekstynų¹³.

2. ÁBRA. A statisztikai gépi fordítás Vauquois-háromszöge

Az IBM kutatói által javasolt fordítási módszer a fordítás minőségét tekintve azonnal versenyre kelt a szabályalapú fordítással. A statisztikai gépi fordítórendszerek fejlesztőit lenyűgözte annak lehetősége, hogy számos nyelvre fordíthatnak anélkül, hogy bármit is tudnának a fordításról vagy a nyelvtanról; a rendszereket elegendő volt a rendelkezésre álló szövegkorpuszokon betanítani. A klasszikus statisztikai fordítás során semmilyen

¹³ A nyelvi modell csökkenti a számítási igényt, mert segít azonnal kiszűrni a korpuszokban nem található mondatokat, segít kiválasztani a legfolyékonyabb fordítást, és közvetve azt is megmutatja, miért fordítja jobban a szépirodalmat az a fordító, akinek a célnyelv az anyanyelve.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 9

az eredeti nyelvű mondatok elemzését vagy a célnyelvi mondatok szintézisét (2. ábra) nem végzik el, a fordítás kizárólag a rendszer betanítása során meghatározott valószínűségek alapján történik. Peter Brown és kollégái által javasolt, a fordításokban előforduló ötféle szóelrendezési modell nem volt elég rugalmas: lehetővé tették az eredeti nyelv egy-egy szavának egy vagy több szóval való fordítását, illetve annak teljes elhagyását. 2003-ban egy rugalmasabb gépi fordítási modellt javasoltak (P. Koehn és mtsai. 2003: 127–133), amely az eredeti nyelvű kifejezések fordítására is képes.

Ebben az időszakban gyors ütemben fejlődtek a gépi fordítás minőségének automatikus értékelésére szolgáló módszerek, mivel nagyon fontos volt gyorsan megállapítani, hogy a hangolt gépi fordítórendszer melyik változata fordít a legjobban. Arra is törekedtek, hogy az ilyen értékelés lehetővé tegye a különböző rendszerek fordítási minőségének objektív összehasonlítását. Idővel az egyik legnépszerűbb metrika a BLEU (az angol bilingual evaluation understudy kifejezés rövidítése) lett (Papineni és mtsai. 2002: 311–318); ez automatikusan összehasonlítja, milyen messze áll a gépi fordítás szövege az emberi fordítástól. Ez a metrika nem veszi figyelembe a szöveg érthetőségét vagy nyelvtani helyességét, csupán a pontosan egyező szavakat vagy kifejezéseket számolja. A metrika kiszámításakor az egyező kifejezések viszonylag nagyobb statisztikai súlyt kapnak, mint az egyes egyező szavak. A feladattól függően a gépi fordítás minőségének értékelésére gyakran más, különféle előnyös tulajdonságokkal rendelkező metrikákat is használnak: F-measure, METEOR (Banerjee, Lavie 2005: 62–72), NIST (Doddington 2002: 138–145), TER (Snover és mtsai. 2006: 223–231) és még sok más.

A statisztikai gépi fordítás népszerűsége ellenére egyre nyilvánvalóbbá vált, hogy ez a módszer korlátozottan alkalmazható morfológiailag gazdag (flektáló) nyelvek esetében. A flektáló nyelvek párhuzamos szövegkorpuszaiban általában nem szerepel a kifejezések vagy akár a ritkább szavak összes lehetséges alakja. Ha valamelyik lehetséges alak nem került be a gépi fordítórendszer betanításába, akkor az adott alakot a rendszer nem fogja lefordítani. A klasszikus gépi fordításnak ezt a hátrányát az adatok elégtelensége okozza, amelynek következtében a rendszer betanítása után ritka fordítási valószínűségi mátrix jön létre. E hátrány leküzdésére Philip Koehn és Hieu Hoang faktorizált statisztikai gépi fordítást javasolt (Koehn, Hoang 2007a: 868–876). Azt javasolták, hogy a fordítórendszert egészítsék ki további nyelvészeti információval: a párhuzamos szövegkorpuszokat nyelvi elemzési címkékkel lássák el, majd ezeket használják fel a rendszer betanításához. 2007-ben P. Koehn és kollégái a szélesebb közönség számára is elérhetővé tették a statisztikai gépi fordítás átfogó, nyílt forráskódú csomagját, a Moses-t (Koehn és mtsai. 2007b: 177–180). A faktorizált statisztikai gépi fordítás alkalmazása valamelyest javította a flektáló nyelvek fordításának minőségét, általában 1–2 BLEU-százalékponttal (Bojar 2007: 235–236; Skadinš és mtsai. 2010: 128–129).

2008. szeptember 25-től a Google Translate statisztikai gépi fordítórendszere litvánul is fordítani kezdett. 2012–2014-ben a Vilniusi Egyetem az Európai Unió strukturális alapjainak

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 10

finanszírozott projektet: „Angol–litván–angol és francia–litván–francia nyelvű, statisztikai módszereken alapuló gépi fordítási rendszer létrehozása”. A projekt munkájának nagy részét a UAB Tilde végezte. Létrehozták az ALPMAVIS gépi fordítási rendszert, és a nyilvánosság számára elérhetővé vált egy nyilvános, internetes statisztikai gépi fordítási szolgáltatás (https://www.versti.eu/)¹⁴. A 2014-ben végzett tesztek adatai szerint az általános szövegek fordításának minőségi mutatói (BLEU-metrikában) több mint kétszeresen meghaladták a litván szabályalapú fordítás eredményeit, és gyakorlatilag egyenértékűek voltak a Google Translate fordítórendszer eredményeivel. Az ALPMAVIS különösen jól tud jogi szövegeket fordítani.

3. A GÉPI FORDÍTÁS MINŐSÉGE LITVÁN NYELVRE

Az új nyelvi jelenség, a géppel fordított litván szövegek megjelenésével érdekessé vált e fordítás minőségének értékelése a köznyelv szempontjából. Az értékeléshez általános témájú szöveget választottak, mivel ez jobban tükrözi a köznyelvet, a fordítás minőségének mérésére pedig a BLEU-metrikát használták.

A fordítás minőségének tesztelésére egy interneten közzétett, általános témájú szöveget választottak¹⁵.

A BLEU-számításokat az alább bemutatott részleteknél hosszabb dokumentumon végezték el, mivel a BLEU-mutatók mondatszinten gyengén korrelálnak az emberi minőségértékeléssel (Kos, Bojar 2009: 140). A bemutatott információ segít az olvasónak megérteni, hogyan viszonyulnak a BLEU CI százalékos értékei (amelyeket a kis- és nagybetűk megkülönböztetése nélkül számítanak) a gépi fordítás minőségéhez. Másfelől az olvasó a számok megtekintése nélkül is kialakíthatja saját véleményét arról, hogyan fordítanak a korábban ismertetett modellek alapján működő gépi fordítási rendszerek.

Az alábbiakban ugyanazon eredeti szöveg különböző fordítási módszerekkel készült változatai következnek. A lefordított szöveg előtt feltüntetik a fordítási módszert, az internetes fordítás dátumát és a BLEU CI százalékos mutatóját.

Az eredeti szöveg angolul:

Mindenki hosszú, boldog és egészséges életre vágyik, a tudósok pedig mindent megtesznek azért, hogy ez megvalósulhasson. Olyan jelentős, aktuális egészségügyi problémákkal foglalkoznak, mint az Alzheimer-kór, a cukorbetegség és az antibiotikumoknak ellenálló „szuperbaktériumok” növekvő hatása, valamint a kialakulóban lévő fenyegetésekkel is. Az egészségügyi kutatásba és innovációba történő beruházás segít abban, hogy aktívak maradjunk, új, biztonságosabb és hatékonyabb kezeléseket fejlesszünk ki, valamint egészségügyi és ellátórendszereinket is fenntartsuk

¹⁴ Az ALPMAVIS a litván nyelvi és írásbeliségi erőforrások integrált információs rendszerén keresztül is elérhető: Raštija.lt (www.raštija.lt).

¹⁵ Iš programos HORIZON 2020. Europos Komisijos Mokslinių tyrimų ir inovacijų generalinis direktoratas 2014.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 11

életképes. Eszközöket biztosít az orvosok számára a személyre szabottabb gyógyításhoz, és fokozza a krónikus és fertőző betegségek megelőzését és kezelését.

A fordító által készített fordítás:

Mindenki hosszú és boldog életet szeretne élni, egészséges akar lenni, a tudósok pedig minden tőlük telhetőt megtesznek azért, hogy ez valóra váljon. Megpróbálnak megoldást találni a fennálló legfontosabb egészségügyi problémák egy részére és az egészséget fenyegető veszélyekre, például az Alzheimer-kór, a cukorbetegség és az antibiotikumokkal szemben ellenálló mikroorganizmusok okozta, egyre súlyosbodó problémákra. Az egészségügyi kutatásba és innovációba történő beruházások elősegítik, hogy aktívak maradjunk, új, biztonságosabb és hatékonyabb kezelési módokat dolgozzunk ki, valamint megőrizzük egészségügyi rendszerünk életképességét. Az orvosok rendelkezésére bocsátják azokat az eszközöket, amelyekre szükségük van ahhoz, hogy a gyógyszereket a betegek egyéni igényeihez igazítsák; emellett hozzájárulnak a krónikus és fertőző betegségek megelőzéséhez és kezeléséhez.

VDU szabályalapú gépi fordítás, 2014 09 19, BLEU – 8,54:

Mindenki hosszú, boldog és egészséges életre vágyik, a tudósok pedig azon dolgoznak, hogy ez lehetővé váljon. Megoldást keresnek néhány aktuális, alapvető egészségügyi problémára, valamint az olyan felmerülő fenyegetésekre, mint az Alzheimer-kór, a cukorbetegség és az antibiotikumokkal szemben ellenálló „szuperbaktériumok” növekvő hatása. Az egészségügyi kutatásba és innovációba történő beruházás segít abban, hogy aktívak maradjunk, új, biztonságosabb és hatékonyabb kezeléseket fejlesszünk ki, és egészségügyi rendszerünket életképesen tartsuk. Eszközöket biztosít az orvosok számára a személyre szabottabb gyógyításhoz, és fokozza a krónikus és fertőző betegségek megelőzését és kezelését.

Az ALPMAVIS statisztikai gépi fordítása, 2014 09 19, BLEU – 17,59:

Mindenki hosszú, boldog és egészséges életet szeretne, a tudósok pedig azon dolgoznak, hogy ez megvalósuljon. Néhány alapvető egészségügyi problémával és felmerülő fenyegetéssel foglalkoznak, például az Alzheimer-kór, a cukorbetegség és az antibiotikum-rezisztens „szuperbaktériumok” növekvő hatásával. Az egészségügyi kutatásba és innovációba történő beruházások segítenek abban, hogy aktívak maradjunk, új, biztonságosabb és hatékonyabb kezeléseket dolgozzunk ki, és hozzájárulnak az egészségügyi ellátórendszerek életképességének megőrzéséhez. Eszközöket biztosít az orvosok számára a személyre szabottabb gyógyításhoz, és elősegíti a krónikus és fertőző betegségek megelőzését és kezelését.

Google statisztikai gépi fordítás, 2014 09 19, BLEU – 17,10:

Mindannyian hosszú, egészséges és boldog életre vágyunk, a tudósok pedig mindent megtesznek ennek érdekében. A legfontosabb egészségügyi problémák egy részével, valamint az új veszélyekkel is foglalkoznak, például az Alzheimer-kór, a cukorbetegség és az antibiotikumokkal szemben ellenálló „szuperbaktériumok” egyre nagyobb hatásával. Az egészségügyi kutatásba és innovációba történő beruházások segítenek abban, hogy aktívak maradjunk, új, biztonságosabb és hatékonyabb kezeléseket dolgozzunk ki, és hozzájárulnak egészségügyi rendszereink fenntarthatóságához. Eszközöket biztosít az orvosok számára, hogy személyre szabottabb gyógyszeres kezelést alkalmazzanak, és fokozzák a fertőző és krónikus betegségek megelőzésére és kezelésére irányuló erőfeszítéseket.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 12

Microsoft Translator (Bing) statisztikai gépi fordítás, 2017 09 27, BLEU −16,68:

Mindenki hosszú, boldog és egészséges életet szeretne, a tudósok pedig mindent megtesznek azért, hogy ez megvalósuljon. Küzdenek napjaink néhány alapvető egészségügyi problémájával, valamint az olyan új fenyegetésekkel is, mint az Alzheimer-kór, a cukorbetegség és az antibiotikumoknak ellenálló szuperbaktériumok növekvő hatása. Az egészségügyi kutatásba és innovációba történő befektetések segítenek abban, hogy aktívak maradjunk, új, biztonságosabb és hatékonyabb kezeléseket dolgozzunk ki, valamint fenntartsuk egészségünk és egészségügyi rendszereink életképességét. Eszközöket biztosít a személyre szabottabb orvosláshoz, és erősíti a krónikus és fertőző betegségek megelőzését és kezelését.

A bemutatott gépi fordítási részletek jól tükrözik az általános szövegek fordításakor jellemző gépi fordítási minőséget. Sokkal jobb általános fordítások csak akkor születnek, ha a lefordítandó szöveget korábban felhasználták a rendszer tanítására. A gépi fordítórendszer fordítási minőségének objektív értékelése csak olyan szövegek használatával lehetséges, amelyek soha nem kerültek be a rendszer tanítóanyagába. El kell ismerni, hogy a ténylegesen működő statisztikai és szabályalapú gépi fordítórendszerek egyelőre gyengén fordítják az általános szövegeket litván nyelvre.

4. NEURÁLIS GÉPI FORDÍTÁS

2013-ban Nal Kalchbrenner és Phil Blunsom neurális hálózatok gépi fordításban való felhasználását javasolta (Kalchbrenner, Blunsom 2013: 1700–1709). A neurális hálózatok számításaihoz számítógépes grafikus processzorok igénybevételének ötlete lehetővé tette valós problémák megoldását, köztük a gépi fordítást is. A neurális gépi fordítás (NMV) megvalósításához több millió mesterséges neuront használnak. Az NMV koncepciója meglehetősen egyszerű: a kódoló az eredeti nyelv teljes mondatát néhány száz dimenziós vektortérben úgynevezett gondolatvektorrá alakítja¹⁶, amely számok sorozatából áll, és így jeleníti meg a mondat jelentését. Valójában ez a vektor a mondat gondolatának vektorizált reprezentációja. A rokon dolgokat és eszméket reprezentáló vektorok iránya alig különbözik¹⁷. A dekóder a gondolatvektor alapján generálja a fordítást. Mind a kódoló, mind a dekóder rekurrens neurális hálózatokra épül (Sutskever és mtsai 2014: 3104–3112; Cho és mtsai 2014: 1724–1734).

¹⁶A kifejezést Geoffrey Hinton, a mesterséges intelligencia egyik legjelentősebb alkotója tette népszerűvé.

¹⁷Erről például a word2vec vektorizáló eszközzel végzett kísérletek révén győződhetünk meg (Mikolov és mtsai 2013: 3111–3119).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 13

3. ÁBRA. A neurális gépi fordítás Vauquois-háromszöge

A 3. ábra a neurális gépi fordítás sémáját mutatja be a Vauquois-háromszög alapján¹⁸. Figyelemre méltó, hogy az elemzés magas szintje automatikusan elérhető, megközelítve az interlingvát. Az NMV-rendszert párhuzamos korpuszok felhasználásával tanítják. A tanítás során a rekurrens neurális hálózatok automatikusan kódolják a mondatokban található morfológiai, szintaktikai és szemantikai információkat, valamint a különböző mértékben felismert szabályszerűségeket. Végre a gépi fordítás elválaszthatatlanná vált a mesterséges intelligencia fejlesztésétől. A neurális gépi fordítás gyorsan fejlődik, és sokkal jobb eredményeket nyújt, mint a szabályalapú vagy a statisztikai gépi fordítás.

Az NMV lehetőségeinek vizsgálata során hamar új jelenségre figyeltek fel: a neurális hálózatok olyan nyelvpárok között is képesek voltak fordítani, amelyekre közvetlenül nem tanították be őket. Ha egy NMV-rendszert az A nyelvről B nyelvre, valamint az A nyelvről C nyelvre történő fordításra tanítottak be, akkor a rendszer a B nyelvről C nyelvre is képes fordítani (Johnson 2017: 339–351), bár a fordítás minősége valamivel gyengébb. Ezt a jelenséget zéró példás fordításnak (angolul zero-shot translation) nevezhetjük. Ez azt jelenti, hogy a gépi fordítórendszer neurális hálózata a tanítás során saját interlingvát alakít ki, amelyet csak maga ért.

2016 végén a Google Translate (GT) neurális fordítást kezdett alkalmazni. Így fest az illusztratív példánk neurális fordítása (Google neurális gépi fordítás, 2017 09 14, BLEU CI – 25,94):

¹⁸A neurális gépi fordítás Vauquois-háromszög szerinti ábrázolása a SYSTRAN 2016-os internetes publikációjában szerepel „Pure Neural Machine Translation” címmel. Internetes hozzáférés: http://www.systransoft.com/download/white-papers/systran-white-paper-PNMT-12-2016_2.pdf (megtekintve: 2017 11 06).

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 14

Mindenki hosszú, boldog és egészséges életre vágyik, a tudósok pedig mindent megtesznek azért, hogy ez lehetséges legyen. Kutatásaik az egészségügy jelenlegi legsúlyosabb problémáinak egy részét, valamint a felmerülő fenyegetéseket is kezelik, például az Alzheimer-kór, a cukorbetegség és az antibiotikumoknak ellenálló „szuperbaktériumok” növekvő hatását. Az egészségügyi kutatásba és innovációba történő beruházások segítenek abban, hogy aktívak maradjunk, új, biztonságosabb és hatékonyabb kezeléseket dolgozzunk ki, egészségügyi és gondozási rendszereink pedig életképesek legyenek. Ez biztosítja az orvosok számára azokat az eszközöket, amelyekre a személyre szabottabb gyógyításhoz szükségük van, és ezáltal javítja a krónikus és fertőző betegségek megelőzését és kezelését.

El kell ismernünk, hogy példánkat a neurális hálózat összehasonlíthatatlanul jobb minőségben fordította le, mint a szabályalapú vagy statisztikai gépi fordítórendszerek. A GT egyelőre nem fordít le mindent ilyen sikeresen; például a Beauty requires no ornaments fordítására tett kísérlet eredménye: Grožis nereikalingas papuošalams. Hasonló kísérletezéssel számos olyan esetet lehet azonosítani, amikor a GT kifejezetten rosszul fordít, így még van mit tökéletesíteni.

A Vilniusi Egyetem 2018-ban készül megkezdeni egy új generációs neurális gépi fordítás megvalósítását angol, litván, lengyel, francia, orosz és német nyelvre. A fordítórendszerbe integrálják a szöveg automatikus beszéddé alakítását, valamint a litvánul diktált szöveg fordítását.

5. ZÁRÓ MEGJEGYZÉSEK

A gépi fordítás fejlődése ma már elválaszthatatlan a mesterséges intelligencia fejlesztése terén elért eredményektől. A fordítás minőségét tekintve minden klasszikus gépi fordítási módszert tovább kell fejleszteni; a lehetőségek még nem merültek ki, és nem világos, hol húzódnak a határaik. A könnyű sikerek romantikus korszaka véget ért; a heurisztikus matematikai vagy mérnöki módszerek nem mindig segítenek. A gyermekek mintegy automatikusan, erőfeszítés nélkül sajátítják el a nyelvet, később azonban nyelvtanulással és irodalom tanulmányozásával tökéletesítik nyelvtudásukat. Úgy tűnik, hogy a nyelvészek érdemi közreműködése nélkül aligha lehetséges tovább tökéletesíteni a gépi fordítást. E közreműködést megkönnyítik a nyílt forráskódú platformokon megvalósított gépi fordítási eszközök: például a szabályalapú fordításhoz használt Apertium (Forcada és mtsai, 2011: 127–144); a statisztikai fordításhoz használt Moses (Koehn és mtsai, 2007b: 177–180) és LetsMT! (Vasiljevs és mtsai, 2012: 43–48); valamint a neurális fordításhoz használt TensorFlow és OpenNMT. Remélhetőleg a litván nyelvészek egyesítik erőfeszítéseiket a számítógépes nyelvészet modern kihívásainak megoldására, hiszen ezek némelyike létfontosságú a nyelvünk számára.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 15

LITERATŪRA

Banerjee S., Lavie A. 2005: METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. – Proceedings of Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization at the 43th Annual Meeting of the Association of Computational Linguistics (ACL-2005), Ann Arbor, Michigan, 62–72.

Bar-Hillel Y. 1958: Some linguistic obstacles to machine translation. – Proceedings of the Second International Congress on Cybernetics, Namur, 197–207.

Bojar O. 2007: English-to-Czech factored machine translation. – Proceedings of the Second Workshop on Statistical Machine Translation, Prague, Czech Republic, 232–239.

Brown P. F., Cocke J., Della Pietra S. A., Della Pietra V. J., Jelinek F., Mercer R. L., Roossin P. S. 1988: A statistical approach to language translation. – Proceedings of COLING 1988: The 12th International Conference on Computational Linguistics, Budapest, 71–76.

Brown P. F., Della Pietra S. A., Della Pietra V. J., Mercer R. L. 1993: Mathematics of statistical machine translation: Parameter estimation. – Computational Linguistics 19(2), 263–311.

Cho K., Bart van Merrienboer, Gulcehre C., Bougares F., Schwenk H., Bengio Y. 2014: Learning phrase representations using RNN encoder-decoder for statistical machine translation. – Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), Association for Computational Linguistics, Doha, Qatar, 1724–1734.

Commission of the European Communities 1994: Final Evaluation Of The Results Of Eurotra: A Specific Programme Concerning The Preparation Of The Development Of An Operational Eurotra System For Machine Translation. DIANE Publishing Company, 1995, 194.

Daubarienė A., Ziezytė G. 2013: Machine translation: translated texts in terms of standards of textuality. – Kalbų studijos 22, 55–61.

Daudaravičius V., 2006: Pradžia į begalybę. Mašininis vertimas ir lietuvių kalba. – Darbai ir dienos: Pažangos šuoliai 45, 7–18.

Daumas M. 1965: Les machines à traduire de Georges Artsrouni. – Revue d'histoire des sciences et de leurs applications, tome 18, n°3, 283–302.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 16

De Beaugrande R. A., Dressler W. U. 1981: Introduction to Text Linguistics, London: Longman, 270.

Doddington G. 2002: Automatic Evaluation of Machine Translation Quality Using Ngram Co-occurrence Statistics. – Proceedings of the Second International Conference on Human Language Technology Research, San Francisco, CA, USA., Morgan Kaufmann Publishers Inc., 138–145.

Forcada M. L, Ginestí-Rosell M., Nordfalk J., O'Regan J., Ortiz-Rojas S., Pérez-Ortiz J. A., Sánchez-Martínez F., Ramírez-Sánchez G., Tyers F. M. 2011: Apertium: a free/open-source platform for rule-based machine translation. – Machine Translation 25 (2), Free/Open-Source Machine Translation (June 2011), 127–144.

Hajič J., Hric J., Kuboň V. 2000: Machine Translation of Very Close Languages. – Proceedings of the 6th Applied Natural Language Processing Conference, Association for Computational Linguistics, 7–12.

Homola P., Rimkutė E. 2004: Artimų kalbų mašininis vertimas. – Kalbų studijos 6, 77–81.

Hutchins J. 2004a: Two precursors of machine translation: Artsrouni and Trojanskij. – International Journal of Translation 16(1), 11–31.

Hutchins J. 2004b: The Georgetown-IBM experiment demonstrated in January 1954. – Proceedings of the 6th Conference of the Association for Machine Translation in the Americas, AMTA, Washington, DC, 102–114.

Johnson M., Schuster M., Le V. Q., Krikun M., Wu Y., Chen Z., Thorat N., Viégas F. B., Wattenberg M., Corrado G., Hughes M., Dean J. 2017: Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation. – Transactions of the Association of Computational Linguistics 5 (1), 339–351.

Kalchbrenner N., Blunsom P. 2013: Recurrent Continuous Translation Models. – Proc. of EMNLP, October, Association for Computational Linguistics, Seattle, Washington, USA, 1700–1709.

Koehn P., Hoang H. 2007a: Factored translation models. – Proceedings of the Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, ACL, 868–876.

Koehn P., Hoang H., Birch A., Callison-Burch C., Federico M., Bertoldi N., Cowan B., Shen W., Moran C., Zens R., Dyer C., Bojar O., Constantin A., Herbst E. 2007b: Moses: Open source toolkit for statistical machine

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 17

translation. – 45th Annual Meeting of the Association for Computational Linguistics (ACL), Companion Volume, 177–180.

Koehn P., Och F. J., Marcu D. 2003: Statistical phrase-based translation. – Proceedings of HLT-NAACL, 127–133.

Kos K., Bojar O. 2009: Evaluation of Machine Translation Metrics for Czech as the Target Language. – Prague Bull. Math. Linguistics 92, 135–148.

McCulloch W., Pitts W. 1943: A logical calculus of the ideas immanent in nervous activity. – Bulletin of Mathematical Biophysics 5, 115–133.

Mikolov T., Sutskever I., Chen K., Corrado G. S., Dean J. 2013: Distributed Representations of Words and Phrases and their Compositionality – Proceedings of the 26th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, Vol. 2, 3111–3119.

Mitamura T., Nyberg E., Carbonell J. 1991: An efficient interlingua translation system for multi-lingual document production. – Proceedings of Machine Translation Summit III, Washington, DC. Perspausdinta: – Progress in Machine Translation, ed. S. Nirenburg, IOS Press, (1993), 105–118.

Papineni K., Roukos S. Ward T., Zhu W. J. 2002: BLEU: a method for automatic evaluation of machine translation. – ACL-2002: 40th Annual meeting of the Association for Computational Linguistics, 311–318.

Reifler E. 1960: The solution of MT linguistic problems through lexicography. – Proceedings of the National Symposium on Machine Translation, (February 2–5, 1960), ed. H.P. Edmunson, London: Prentice-Hall, (1961), 312–316.

Rimkutė E., Kovalevskaitė J. 2008: Linguistic Evaluation of the First English-Lithuanian Machine Translation System. – Proceedings of the Third Baltic Conference on Human Language Technologies (2007), Kaunas, 257–264.

Skadinš R., Goba K., Šics V. 2010: Improving SMT for Baltic Languages with Factored Models. – Proceedings of the Fourth International Conference Baltic HLT, Frontiers in Artificial Intelligence and Applications, Vol. 219, IOS Press, 125–132.

Snover M., Dorr B., Schwartz R., Micciulla L., Makhoul J. 2006: A Study of Translation Edit Rate with Targeted Human Annotation. – Proceedings of the 7th Conference of the Association for Machine Translation in the Americas, Morristown, NJ, USA, 223–231.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 18

Sutskever I., Vinyals O., V. Le Q. V. 2014: Sequence to sequence learning with neural networks. – Proceedings of the 27th International Conference on Neural Information Processing Systems, Montreal, Canada, Vol. 2, MIT Press Cambridge, MA, USA, 3104–3112.

Šveikauskienė D. 2005: Graph Representation of the Syntactic Structure of the Lithuanian Sentence. – Informatica 16 (3), 407–418.

Toma P. 1977: Systran as a multilingual machine translation system. – Proceedings of the Third European Congress on Information Systems and Networks, Overcoming the language barrier, München, 569–581.

Vasiljevs A., Skadiņš R., Tiedemann J. 2012: LetsMT!: a cloud-based platform for do-it-yourself machine translation – Proceedings of the ACL, System Demonstrations, Jeju Island, Korea, 43–48.

Vauquois B. 1976: Automatic translation – A survey of different approaches. – COLING-76, Ottawa. Perspausdinta: – Readings in machine translation, eds. S. Nirenburg, H. L. Somers, Y. Wilks, MIT Press, (2003), 333–337.

Weaver W. 1949: Translation. – Perspausdinta: – Machine Translation of Languages, MIT Press, Cambridge, MA. (1955), 15–23.

Įteikta 2017 11 13

Priimta 2017 12 20

MACHINE TRANSLATION FOR LITHUANIAN LANGUAGE

Summary

The paper presents a historical overview as well as current state of the art of the machine translation. Translation from another language is always a certain intellectual challenge. In 1949 Warren Weaver suggested using computers to translate texts. The term "machine translation" (MT) appears. Machine translation has been rapidly developing during the first decades in order to gain a strategic advantage in the Cold War. Most popular translated languages were Russian and English. Word-to-word translation and large bilingual dictionaries covering more than 170,000 words prevailed.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Masininis vertimas lietuvių kalbai | 19

In the 1950s and 1960s, machine translation systems appeared which could be called rule-based. They are based on the assumption that a language can be described using a set of rules (including grammatical). It was a rather optimistic period – it was expected to create a perfect machine translation in a few years. But a computer hardly "understands" grammar. Highly inflected languages require tens of thousands thoroughly hand-tuned and mutually consistent rules. Nobody has done this properly yet. The most advanced systems were the SYSTRAN MT system, launched in the European Commission and the Russian PROMT translation system. Subsequently, the rule-based MT progress slowed down. The EUROTRA project (1982–1992), by some estimates costing more than 50,000,000 ECU, fails – even hundreds of recruited specialists failed to create a functioning MT system. This marked a serious rule-based MT crisis. Development simply stalled for many forthcoming years.

The question was raised: if we cannot write so many rules, can it be translated without grammar at all? In 1990 a new breakthrough emerges – the research team at the IBM Thomas J. Watson Research Center formulates the basics of statistical machine translation. The translation process has been considered as a transmission of a certain message over a noisy channel. Decoding then has been performed on the basis of the Bayesian theorem. Translation is based on text corpora, especially on large parallel bilingual text corpora. There was a rapid improvement of statistical MT. The EuroMatrix project, supported by the European Commission, has created a universal open source machine translation software package MOSES, based on industry-level MT systems. Good results have been obtained – it turns out that you can translate without any dictionary or grammar! This method has greatly facilitated the translation of highly inflected languages too.

The achievements of machine translation today are effectively applied to the Lithuanian language as well. During 2005–2007 Vytautas Magnus University has carried out an EU-funded project "Internet Information Translator". The result was a public online translation service from English to Lithuanian. (http://vertimas.vdu.lt/twsas/). The rule-based translation engine was provided by the Russian company PROMT, while other linguistic resources were prepared in Lithuania. The overall quality of text translation in BLEU metrics (in percent) is about 10. In practice, this means that only every third sentence can be adequately understood. This translation tool still has considerable potential for improving, for example by expanding phrase dictionary. Since September 25, 2008 Google Translate also supports Lithuanian. According to the results of the tests (2014), the BLEU translation quality was estimated to be around 17.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 20

2012–2014 Vilnius University implemented the EU-funded project "Creation of English-Lithuanian-English and French-Lithuanian-French machine translation system based on statistical methods". The result was a public online translation service (https://www.versti.eu/). According to the tests carried out in 2014, the BLEU estimates of the translation quality exceeded more than twice the rule-based translation results and were practically equivalent to the Google translation system. When translating the documents of certain domain (such as law) the achieved BLEU score is roughly twice as high as translating general texts and far exceeds Google's results (19-09-2014). However, even the best machine translations often require human intervention and final editing in order to get the perfect translation. So, can machines ultimately translate fine?

The last few years promise new breakthroughs using a neural machine translation. Neural networks themselves construct transformation rules. It is likely that in the near future the neural MT systems will translate better than an average translator. In 2018 Vilnius University is preparing to launch the EU-funded project of a new generation neural machine translation of English, Lithuanian, Polish, French, Russian and German.

Thus, the latest achievements in machine translation apply to the Lithuanian language as well.

KEYWORDS: Lithuanian, machine translation, computational linguistics, history, neural networks, artificial intelligence.

DANIELIUS ALGIRDAS RALYS

Vilniaus universiteto Taikomųjų mokslų institutas

M. K. Čiurlionio g. 29, 03100 Vilnius

[email protected]

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204