Mašininis vertimas lietuvių kalbai

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 DANIELIUS ALGIRDAS RALYS Vilniusi Egyetem GÉPI FORDÍTÁS A LITVÁN NYELV SZÁMÁRA 1 KULCSSZAVAK: litván nyelv, történelem, számítógépes nyelvészet, gépi fordítás, neurális hálózatok, mesterséges intelligencia. BEVEZETÉS Napjainkban egyre több szöveget fordítanak számítógépek. Ezt az automatikus számítógépes fordítást általában gépi fordításnak (MV) nevezik. A gépi fordítást rendszerint azért végzik, hogy minél gyorsabban eligazodjanak a többnyelvű információ óriási áradatában, valamint azért, hogy saját információikat minél szélesebb körben terjesszék. A népek és nyelvek közötti elektronikus információcsere a mindennapi élet fontos részévé válik, új lehetőségeket nyit nyelvünk előtt, ugyanakkor új kihívások és problémák elé állítja. A „gépi fordítás” (angolul machine translation) terminust a múlt század közepén elsőként Warren Weaver használta, aki a nemrég megjelent számítógépek szövegfordításra való alkalmazását javasolta (Weaver 1949: 1). W. Weaver azt javasolta, hogy a más nyelven írt szövegre tekintsünk úgy, mint egy kódolt üzenetre, amely dekódolható. A brit és amerikai szakemberek kriptográfiai eredményei a nemrég véget ért második világháborúban optimizmust ébresztettek. Akkoriban őszintén hittek abban, hogy az elektronikus gépek néhány év alatt segítenek leküzdeni a Bábel tornyának átkát. Sajnos a fordítás lassan fejlődött, a gépi fordítás minősége pedig meg sem közelítette az emberi fordítás minőségét. Hetven év elteltével, a kétségtelen sikerek és csalódások, valamint a számos elvégzett munka után a gépi fordítás közösségében ismét optimista hangulat uralkodik. Ezúttal a reményeket a mesterséges neurális hálózatokba és a mesterséges intelligencia fejlesztésében elért gyors előrehaladásba vetik. A gépi fordítás a litván nyelvet sem kerülte el. Ma könnyen hozzáférhető online gépi fordítóeszközök fordítanak a legnépszerűbb nyelvekről litvánra és fordítva. A legtöbb eszköz fordítási minősége még meglehetősen gyenge, az általuk lefordított szövegeket feltétlenül szerkeszteni kell. Jobb minőségével csak a Google Translate fordítóeszköz 2 tűnik ki, amelyben megkezdték a 1 A tanulmány a „Gépi fordítás a litván nyelv számára” című, Vilniusban, a „Digitális nyelvi erőforrások, fejlesztési irányaik és felhasználási lehetőségeik” című 24. nemzetközi Jonas Jablonskis-konferencián 2017. szeptember 29-én elhangzott előadás alapján készült. 2 Online elérhető: https://translate.google.com. DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai |2 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 neurális fordítási technológiák alkalmazását. Az ezzel az eszközzel lefordított mondatok többsége megőrzi az eredeti nyelvben hordozott jelentést. A gépi fordítást széles körben használják arra, hogy más nyelveken terjesszenek információkat mašininio vertimo rezultatai neatsakingai įkeliami į elektroninę erdvę visai neredaguoti. Tokių . Gyakran már láthatók is a következmények: az interneten hemzsegnek a torzított információkat tartalmazó, gyenge minőségű litván szövegek, amelyeket valamelyik gépi 3 fordítóprogram automatikusan generált. Az ilyen szövegek fokozatosan a korpuszokba is beszivároghatnak. A gépi fordítás mára mindennapi, olykor meglepő, máskor pedig szemet szúró valósággá vált, amely nemcsak a nyelvészek figyelmesebb tekintetét, hanem a gépi fordítás fejlesztésében való jelentősebb szerepvállalásukat is megérdemli. Ebben a tanulmányban röviden bemutatjuk a gépi fordítás (GF) történetét, valamint ismertetünk néhány, a GF fejlődésére hatással lévő elképzelést. Bemutatjuk a különböző fordítási technológiák által a litván nyelv esetében elért eredményeket. Elemezzük a GF litván nyelvre való alkalmazásának lehetőségeit szabályalapú, statisztikai, valamint neurális módszerekkel. A terjedelmi korlátok miatt nem ismertetjük az ezen módszerek közül többnek egyetlen fordítási rendszerben való egyesítésére tett kísérleteket. 1. A GÉPI FORDÍTÁS EREDETEI Egy másik nyelvből készült jó fordítás mindig bizonyos intellektuális kihívást jelent az ember számára, a fordítás pedig soha nem volt könnyű tevékenység. Nem meglepő, hogy törekedtek a fordítás valamilyen módon történő automatizálására. 1932–1935 között Franciaországban Georges Artsrouni mérnök feltalált és megkonstruált egy univerzális mechanikus készüléket, amelyet mechanikus agynak (fr. cerveau mécanique) nevezett, és amely egyéb funkciói mellett képes volt a begépelt szöveget több nyelvre lefordítani (Hutchins 2004a: 12). Ebben az elektromechanikus készülékben egy hosszú (akár 40 méter hosszú), hajlékony kartonból készült memóriaszalag forgott. Ezen egy többnyelvű szótár volt leírva, amely akár több tízezer szót is tartalmazhatott. A billentyűzeten begépelt francia szót mechanikusan kódolták, és e kód alapján a memóriaszalag a megfelelő helyre fordult. Néhány másodperc elteltével a készülék megjelenítette a bevitt szó fordítását (Daumas 1965: 294–295). A készüléket az 1937-es párizsi világkiállításon mutatták be, nagy érdeklődést váltott ki, és elnyerte a Nagydíjat. Ténylegesen ez volt a világ első 3 Jonathan Swift (Jonathan Swift) Gulliver utazásaiban szarkasztikusan ír le egy gépet, amely értelmetlen szókombinációkat rak össze, ezeket pedig folyamatosan szorgalmasan könyvekbe írták. Manapság ugyanilyen semmiség sokkal gyorsabban elkészíthető... DANIELIUS ALGIRDAS RALYS. Gépi fordítás a litván nyelvhez |3 működő mechanikus szótár. G. Artsrouni BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 később tovább tökéletesítette készülékét, azonban a mechanikai problémák és a kitört második világháború megszakították a munkát. 1933-ban a Szovjetunióban Piotrasz Smirnovas-Trojanskis szerzői tanúsítványt kapott, és számos értékes gépi fordítási ötletet fogalmazott meg, amelyek elektromechaninei vertimo mašinai 4 . Nors ši mašina taip ir nebuvo pagaminta, tačiau išradėjas csak sok évvel később, a számítógépek megjelenésével valósultak meg. P. Smirnovas-Trojanskis oroszul beszélt, ezért jól értette a flektáló nyelvek sajátosságait. A fordítási folyamat három szakaszra bontását javasolta: az első szakaszban az embernek lemmákra kell redukálnia a szöveget, és morfológiai-szintaktikai jegyekkel kell ellátnia őket (az elemzés szakasza); ezt követően a második szakaszban a gép automatikusan megkeresi egy vagy több célnyelv lemmáit, és ugyanazokat a jegyeket rendeli hozzájuk (az átalakítás szakasza); a harmadik szakaszban a szerkesztőnek a fordítási lemmák és azok jelölései alapján gördülékeny fordításszöveget kell készítenie (a generálás szakasza). P. Szmirnov-Trojanszkij különféle módszereket is javasolt a szinonimák, homonimák és idiómák fordítására. P. Szmirnov-Trojanszkij elképzeléseit hazájában nem ismerték el, ő maga nem érte meg a számítógépek korszakát, a feltaláló elképzelései azonban nem merültek 5 feledésbe, később Nyugaton is ismertté váltak. A gyakorlati gépi fordítás korszaka a számítógépek megjelenésével kezdődött. 1947-ben W. Weaver levélben fordult a zseniális nyelvészhez és számítógép-fejlesztőhöz, Norbert Wienerhez, azt kérdezve, hogy a kriptográfia legújabb eredményei és a nemrég megjelent számítógépek 6 alkalmazhatók-e a nyelvek fordítására. W. Weaver azt állította, hogy bármely orosz szöveg cirill betűkkel kódolt angol üzenetként kezelhető. Úgy vélte, hogy a számítógépek egyszerűen vissza tudják fejteni ezt az üzenetet. Sajnos N. Wiener válasza szkeptikus volt. 1949-ben W. Weaver szélesebb közönséghez juttatott el egy memorandumot, amelyben a számítógépek szövegfordításra való felhasználását javasolta (Weaver 1949: 7). Abban az időben különböző amerikai és brit laboratóriumokban az egyszerű, szó szerinti gépi fordítás elképzelései 7 uralkodtak. A tudós biztos volt abban, hogy a számítógépek sokkal tökéletesebben tudnak fordítani. W. Weaver a memorandumban négy, a fordítandó szó legközelebbi környezetére vonatkozó javaslatot tett, és ezáltal megoldotta a poliszémia problémáit. Ez a felismerés ma a vertimo problemų sprendimo ir tyrimo kryptis. Visų pirma, jis pasiūlė statistiškai analizuoti statisztikai gépi fordítás alapját képezi. A második javaslat azon a feltételezésen alapult, hogy a nyelvben 4 A szerzői tanúsítványban ezt az eszközt „az egyik nyelvről egy másik vagy egyidejűleg több nyelvre történő fordítás során a szavak kiválasztására és kinyomtatására szolgáló gépnek” nevezik. 5 P. Szmirnov-Trojanszkij 1950-ben halt meg. 6 Az első brit elektronikus számítógép, a Colossus, 1944 elején kezdett működni, az első amerikai elektronikus digitális számítógépet, az ENIAC-ot pedig 1945 végén készítették el. Az első szovjet számítógép A MESM-et 1950-ben készítették el. 7 Ebben a W. Weaver-féle memorandumban használt gépi fordítás (angolul machine translation) kifejezés hamar meghonosodott. DANIELIUS ALGIRDAS RALYS. A gépi fordítás a litván nyelv számára |4 logikai elemből áll, ezért neurális BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 hálózati modellek (McCulloch, Pitts 1943: 115– 133) használatával lehetővé kell válnia, hogy az eredeti nyelvben található premisszákból dedukáljuk a fordítást. Az idő megmutatta e felismerés zsenialitását – ma a gépi fordítás neurális módszere fordít a legjobb minőségben. fordításhoz. Trečią problemų sprendimo kryptį turėtų sudaryti kriptografijos metodų taikymas kalbų Negyven év elteltével ezt statisztikai gépi fordítási algoritmusokban valósították meg. A negyedik javaslat szemléltetésére W. Weaver egy allegorikus képet rajzolt, amelyen az emberek magas, zárt tornyokban laknak, amelyek különböző nyelveket jelképeznek. Az embereknek úgy-ahogy sikerül kommunikálniuk egymással, amikor a vastag toronyfalakon keresztül kiabálnak. Szerencsére a tornyoknak közös alapjuk és pincéjük van, csak le kell oda menni, és akkor könnyebbnek kell lennie a kommunikációnak. W. Weaver azt állította, hogy a világ nyelveiben bizonyos közös mélyszerkezet rejlik, amelyet még fel kell tárni. A tudós utóbbi javaslata arra ösztönzött, hogy megkezdjék az egyetemes nyelv – a gépi fordítási interlingva – keresését és megalkotását. 8 W. Weaver memorandumát követően a gépi fordítás nem sokáig váratott magára, hogy lendületbe jöjjön. 1954-ben New Yorkban nyilvánosan bemutattak egy gépi fordítási rendszert, amelyet az IBM vállalat és a Georgetowni Egyetem együttműködésével fejlesztettek ki. Orosz nyelvről angol nyelvre fordítottak. A rendszerbe mindössze hat grammatikai szabályt programoztak be, a fordításhoz pedig mintegy 250 szót használtak fel (Hutchins 2004b: 102). A rendszer a szerves pavyzdžiai iš anksto kruopščiai apgalvoti. Po eksperimento viltasi, kad po kelerių metų mašinos kémia tematikájára összpontosított, kiválóan fordított, a munka folytatására pedig bőkezű finanszírozást biztosítottak. A gépi fordítást (MF) gyors ütemben kezdték fejleszteni az Amerikai Egyesült Államokban (USA) és a Szovjetunióban, hogy stratégiai előnyre tegyenek szert a hidegháborúban. A leggyakrabban fordított nyelvek az orosz és az angol voltak. 2. SZABÁLYALAPÚ GÉPI FORDÍTÁS A múlt század ötvenes éveinek közepén megjelentek a gépi (számítógépes) fordítási rendszerek, amelyeket szabályalapúaknak (angl. rule-based) kezdtek nevezni. Ezeket annak a szemléletnek megfelelően fejlesztették, hogy a nyelv bizonyos szabályok (köztük grammatikai szabályok) rendszerének segítségével leírható. E módszer alkalmazásakor a forrásnyelvi mondatot egy bizonyos, kiválasztott szintig elemzik, meghatározzák a mondat szerkezetét, amelyet a kidolgozott szabályok szerint a célnyelv ekvivalens szerkezetévé alakítanak át, amely alapján létrehozzák a célnyelvi mondatot. A különböző nyelvek mondatszerkezetei jelentősen eltérhetnek egymástól, és lehetnek olyan sajátosságaik, amelyeket az MV-nek tükröznie kell. 8 Nem szabad összetéveszteni a természetes nyelvi interlingvákkal – az eszperantóval, az idóval, a volapükkel és más hasonlókkal. DANIELIUS ALGIRDAS RALYS. Gépi fordítás a litván nyelv számára |5 a rendszerben. A gépi BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 fordításra alkalmas litván mondat szintaktikai struktúráinak ábrázolásával kapcsolatos problémákat Daiva Šveikauskienė (2005: 411–417) vizsgálta. A szabályalapú MV-rendszereknek különböző változatai vannak, amelyek az elemzés mélysége szerint különböznek (1. ábra). Minél 9 mélyebb a mondat elemzése, annál egyszerűbb az átalakítás. Ideális esetben, amikor a szöveget az interlingva mélységéig elemezzük, többé semmilyen transzformációra nem lenne szükség – a szöveg interlingvális reprezentációjának minden nyelvben azonosnak kellene lennie. 1. ÁBRA A szabályalapú gépi fordítás Vauquois-háromszöge A szabályalapú gépi fordítás problémáit mind empirikus, mind nyelvészeti módszerek alkalmazásával próbálták megoldani. Az empiristák táborában a legnépszerűbb a közvetlen fordítás módszere volt. Az ilyen fordítás során két nyelv között csupán szótárt és egyszerű programozási szabályokat használnak, gyakorlatilag nem végeznek nyelvi elemzést vagy szintaktikai átszervezést (ez a módszer az 1. ábra legalacsonyabb szintjének felel meg). Az Egyesült Államokban a múlt század hatvanas éveiben az Erwin Reifler vezette kutatócsoport speciális, gépi fordításra szolgáló szótárakat készített, amelyekben a lexikai ekvivalensek mellett a szavak helyi sorrendjének megváltoztatására vonatkozó szabályokat is elhelyeztek. Emellett számos kifejezés fordítását és általánosító fogalmakat (angl. cover terms) is megadtak a poliszémia problémáinak megoldására. 1964-ben kezdett működni a Mark II orosz–angol közvetlen fordítási rendszer, amelyet az Egyesült Államok légierejének megrendelésére fejlesztettek ki. Ebben E. Reifler több mint 170 000 szót tartalmazó szótárát használták (Reifler 1960: 312). A nyelvészeti módszereket szélesebb körben a Georgetown Egyetemen alkalmazták, ahol a gépi fordítás kutatóinak jelentős erői gyűltek össze, és több, különböző módszereket alkalmazó 9 Az ilyen ábrákat gyakran Vauquois-háromszögnek nevezik; ezt az ábrázolási módszert a gépi fordítás francia úttörője, Bernardʼas Vauquois javasolta (1976: 335). DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai |6 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 csoportba oszlottak. A Michael Zarechnak vezette csoportban fejlesztették ki a Georgetown-i automatikus fordítás (angl. GAT – Georgetown Automatic Translation) rendszerét. Ebben háromszintű elemzést végeztek: morfológiait (beleértve az idiómák azonosítását is), szintaktikait és szintagmatikait. A módosított GAT rendszert 1963-ban sikeresen kezdték használni az Euratomnál (Ispra, Olaszország), 1964-ben pedig az Egyesült Államok Atomenergia-bizottságánál. Egy interlingvaalapon működő gépi fordítási rendszer létrehozása jóval hosszabb időt vett igénybe. Kereskedelmi értékkel bíró gépi fordítási rendszer, a KANT, csak a múlt század utolsó évtizedében jelent meg (Mitamura és mtsai 1991: 105–118). A rendszert bizonyos műszaki szövegek fordítására használták. Az általános nyelv kifejezésére szolgáló interlingva végül sem készült el. Az IBM–Georgetown-i gépi fordítási bemutatót követő teljes évtizedben nagy erőfeszítéseket tettek 10 a gépi fordítás minőségének lényeges javítására, a fejlődés azonban nagyon csekély volt. 1966-ban az Egyesült Államokban megalapított Az ALPAC (angl. Automatic Language Processing Advisory Committee) bizottság úgy döntött, hogy a gépi fordításnak a közeljövőben nincs perspektívája, mivel gyenge minőségű, és azt még egy fordítónak is szerkesztenie kell, ami több időt vesz igénybe, mint a gépek nélküli fordítás. Az ALPAC-bizottság figyelmen kívül hagyta azt a tényt, hogy a gépi fordítás hatalmas mennyiségű információ lefordítását teszi lehetővé, és sok felhasználót kielégít a gyenge, csupán a jelentést közvetítő fordítás. A bizottság negatív következtetései után az Egyesült Államokban a gépi fordítási projektek finanszírozását több évtizedre gyakorlatilag megszüntették, és más országokban is csökkent a finanszírozás. A gépi fordítással szemben kialakult szkeptikus hozzáállás ellenére ezen a területen folyamatos fejlődés ment végbe. Az 1968-ban az Egyesült Államokban fejleszteni kezdett SYSTRAN szabályalapú fordítórendszert (Toma 1977: 569–581) folyamatosan tökéletesítették, és később kereskedelmi rendszerré vált. Ezt a rendszert az Egyesült Államok Védelmi Minisztériumában, a NASA-nál, az Euratomnál, az Európai Bizottságnál és sok más helyen kezdték használni. Az 1975-ös kereskedelmi megállapodás értelmében az Európai Bizottság jogot kapott a rendszer saját céljaira történő továbbfejlesztésére. A rendszer bizonyos nyelvi területek szövegeit meglehetősen jól fordította számos nyelvre. 2010-től a SYSTRAN hibrid technológiákat kezdett használni. Más országokban is megjelentek meglehetősen jól működő gépi fordítási rendszerek: az ARIANE (Grenoble-ban, Franciaországban), a hozzá hasonló MU rendszer (Kiotóban, Japánban), 11 valamint a SUSY (Saarbrückenben, Németországban). Az európai EUROTRA projekt (1982–1992), amely több mint 50 000 000 ECU-ba került, kudarccal végződött – szakemberek százai sem tudtak működő gépi fordítási rendszert létrehozni. Így kezdődött a szabályalapú gépi fordítás komoly válsága. Később sok éven át egy helyben topogtak. 10 Az USA ebben az időszakban mintegy 20 millió dollárt költött a gépi fordítási rendszerek fejlesztésére és tökéletesítésére. 11 1994 m. Europos Bendrijų Komisijos (angl. CEC – Commission of the European Communities) pranešime pateikti EUROTRA finansavimo duomenys – Komisija 1982–1992 m. projektui skyrė 37,5 mln. ECU (CEC 1994: 3.10), különböző országok kormányai pedig a tizenhat EUROTRA-központ számára további több mint 20 milliót különítettek el. ECU (CEC 1994: A4.2). DANIELIUS ALGIRDAS RALYS. Gépi fordítás litván nyelvre |7 A szabályalapú gépi fordítás Litvániában BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 csak ebben az évszázadban jelent meg. 2003–2004-ben a Česílko gépi fordítási rendszert (Hajič és munkatársai 2000: 10–12) a litván nyelvre alkalmazták (Homola, Rimkutė 2004: 77–81). Ebben az időszakban Petras Homola és Erika Rimkutė a rendszer gépi fordítási lehetőségeit vizsgálták a cseh és a litván nyelv között. 2005–2007 között a Vytautas Magnus Egyetem az Európai Unió strukturális alapjai által finanszírozott „Internetes információfordító eszköz” projektet hajtotta végre. A tervezett gépi fordítási (GF) rendszer struktúráját Vidas Daudaravičius (2006: 7–18) írta le. Létrehoztak egy nyilvános internetes fordítóeszközt angol nyelvről litván nyelvre. A fordítómotort a PROMT orosz vállalat biztosította. A rendszer nyelvi komponenseinek egy részét Litvániában készítették el. A 12 rendszer csak bizonyos mondattípusokat fordított kiválóan, a jó fordítások kisebbséget alkottak. 2007-ben elvégezték e GF-rendszer nyelvi értékelését (Rimkutė, Kovalevskaitė 2008: 257–264). Audronė Daubarienė és Greta Ziezytė (2013: 55–61) értékelték a VDU GF-rendszere fordításának szövegszerűségi standardoknak való megfelelését (De Beaugrande, Dressler 1981: 3). Munkájukban a szerzők megállapították, hogy a vizsgált, különböző műfajú gépi fordítású szövegek a számos szemantikai hiba miatt nem feleltek meg a koherencia és néhány más szövegszerűségi szabvány követelményeinek, ezért az ilyen fordítások az olvasó számára nem lehetnek elfogadhatók és informatívak. Az évtizedek múlásával és lényegében egy helyben topogva kezdték felismerni, hogy a nyelv rendkívül összetett jelenség, amelyet nagyon nehéz szabályokkal leírni. A többértelműség és az anaforák fordítási problémáinak megoldására a világ felépítésére és logikájára vonatkozó extralingvisztikai információk használatát javasolták (Bar-Hillel 1958: 197–207). Azonban ilyen rendszerezett információ egyszerűen nem állt rendelkezésre, a szöveg jelentésének formális leírása pedig nehezebb feladatnak tűnt magánál a fordításnál. Nyilvánvaló volt, hogy a gépi fordítás problémái forradalmi megoldásokat igényeltek. 2. STATISZTIKAI GÉPI FORDÍTÁS 1988-ban az IBM kutatóinak csoportja (Brown és mtsai. 1988: 71–76) a gépi fordításhoz A javasolt naudoti lygiagrečiuose tekstynuose glūdinčią informaciją, ieškant tikimiausių vertimo variantų. fordítási modell azon a feltételezésen alapul, hogy a zajos csatornában az eredeti nyelv f mondata e mondattá alakul át a célnyelvben. A csatornában fellépő zaj statisztikailag torzítja az eredeti nyelv f mondatát, ezért a csatorna kimenetén különböző, tetszőleges hosszúságú, a célnyelvben valamilyen jelentéssel rendelkező vagy teljesen értelmetlen e mondatokat kaphatunk. Mivel az a csatorna stengiasi išversti teisingai, tai pro triukšmą vis dažniau prasiskverbia teisingi vertimo variantai. 12 Online elérhető: http://vertimas.vdu.lt/twsas/. DANIELIUS ALGIRDAS RALYS. Gépi fordítás a litván nyelvre |8 Ebben a modellben feltételezik, hogy BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 amikor egy f mondatot küldenek a csatornába, az összes e közül a legmegfelelőbb ê fordítási változat az, amelynek a csatorna kimenetén való megjelenési feltételes valószínűsége p(e|f) a legnagyobb, vagyis ê = argmaxe p(e|f). Itt azzal a problémával szembesülünk, hogy a legjobb ê fordítási változat megtalálásához nemcsak a fordítási nyelv összes lehetséges mondatát, hanem a benne előforduló mindenféle szósalátát is át kell tekinteni. Ilyen mennyiségű valószínűség kiszámítása nagyon nehéz. A Bayes-tétel alkalmazásával könnyebben kiszámítható ekvivalens kifejezést kapunk (Koehn és mtsai. 2003: 127): argmaxe p(e|f) = argmaxe p(f|e) p(e) Ez az egyenlet a statisztikai gépi fordítás alapvető egyenlete (Brown és mtsai. 1993). Ebben a p(f|e) feltételes valószínűség azt mutatja meg, annak a valószínűségét, hogy a csatornán az f mondatot küldték el, ha a kimeneten az e mondat jelent meg. Az egyenletnek ezt a tagját fordítási modellnek nevezik, amelyet kétnyelvű szövegkorpuszokból számítanak ki. Az egyenlet második tagja, a p(e), az e mondat valószínűségét jelöli a célnyelven. Ez a tag a nyelvi modellt írja le, amelyet egynyelvű célnyelvi korpuszokból számítanak ki. 13 2. ÁBRA A statisztikai gépi fordítás Vauquois-háromszöge Az IBM kutatói által javasolt fordítási módszer a fordítás minősége tekintetében azonnal versenyre kelt a szabályalapú fordítással. A statisztikai gépi fordítórendszerek fejlesztőit lenyűgözte annak lehetősége, hogy számos nyelvre fordíthattak anélkül, hogy bármit is tudtak volna a fordításról vagy a nyelvtanról; elegendő volt a fejlesztés alatt álló rendszereket a rendelkezésre álló korpuszokon betanítani. A klasszikus statisztikai fordítás során semmilyen 13 A nyelvi modell csökkenti a számítások mennyiségét, mert segít azonnal elvetni a korpuszokban nem megtalálható mondatokat, segít kiválasztani a leg gördülékenyebb fordítást, továbbá közvetve azt is megmutatja, miért fordítja a szépirodalmat jobban az a fordító, akinek a célnyelve az anyanyelve. DANIELIUS ALGIRDAS RALYS. Gépi fordítás a litván nyelv számára |9 a forrásnyelvi mondatok BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 elemzése vagy a célnyelvi mondatok szintézise (2. ábra), a fordítás kizárólag a rendszer betanítása során meghatározott valószínűségek alapján történik. Peter Brown és kollégái által javasolt, a fordításokban alkalmazott öt szóelrendezési modell nem volt kellően rugalmas: lehetővé tette, hogy egy forrásnyelvi szót egy vagy több szóval fordítsanak le, illetve egyáltalán ne fordítsák le. 2003-ban egy rugalmasabb gépi fordítási modellt javasoltak (P. Koehn és mtsai 2003: 127–133), amely képes volt a forrásnyelvi kifejezések fordítására is. Ebben az időszakban gyors ütemben fejlesztették a gépi fordítás minőségének automatikus értékelési módszereit, mivel nagyon fontos volt gyorsan megtudni, hogy a gépi fordítási rendszer melyik, éppen hangolt változata fordít a legjobban. Arra is törekedtek, hogy az ilyen értékelés lehetővé tegye a különböző rendszerek fordítási minőségének objektív összehasonlítását. Idővel az egyik legnépszerűbbé a BLEU (az angol bilingual evaluation understudy rövidítése) metrika vált (Papineni és mtsai 2002: 311–318), amelyben automatikusan összehasonlítják, hogy a gépi fordítás szövege milyen mértékben tér el az emberi fordítástól. Ez a metrika nem veszi figyelembe a szöveg érthetőségét vagy nyelvtani helyességét, csupán a pontosan egyező szavakat vagy kifejezéseket számolja. A metrika kiszámításakor az egyező kifejezések viszonylag nagyobb statisztikai súlyt uždavinio, MV kokybei vertinti dažnai naudojamos ir kitokios, vienokią ar kitokią gerą ypatybę kapnak, mint az egyes egyező szavak. A metrikáktól függően: F-measure, METEOR (Banerjee, Lavie 2005: 62–72), NIST (Doddington 2002: 138–145), TER (Snover et al. 2006: 223–231) és még sok más. A statisztikai gépi fordítás népszerűsége ellenére egyre világosabbá vált e módszer korlátozottsága: a į morfologiškai turtingas (fleksines) kalbas. Į fleksinių kalbų lygiagrečius tekstynus dažniausiai fordítandó szövegben előforduló valamennyi lehetséges frázis, sőt az egyes ritkább szavak valamennyi alakja sem került bele. Ha valamely lehetséges alak nem került be az SMT-rendszer betanításába, akkor az ilyen alakokat sem fogja lefordítani. A klasszikus SMT e hiányosságát az adatok elégtelensége okozza, amelynek következtében a rendszer betanítása után ritkított fordítási valószínűségi mátrixot kapunk. E hiányosság leküzdésére Philipp Koehn és Hieu Hoang faktorizált statisztikai gépi fordítást javasolt (Koehn, Hoang 2007a: 868–876). Javasolták, hogy a fordítási rendszerbe további nyelvészeti információt vigyenek be a párhuzamos korpuszok nyelvészeti elemzési jegyekkel való annotálásával, amely korpuszokat később a rendszer betanítására használnak. 2007-ben P. Koehn munkatársaival együtt a széles nyilvánosság számára elérhetővé tette a statisztikai gépi fordítás teljes csomagját, a Moses-t, nyílt forráskóddal (Koehn et al. 2007b: 177–180). A faktorizált statisztikai gépi fordítás alkalmazása valamelyest javította a flektáló nyelvek fordításának minőségét, általában 1–2 BLEU-százalékponttal (Bojar 2007: 235–236; Skadiņš et al. 2010: 128–129). 2008. szeptember 25-től a Google Translate statisztikai gépi fordító rendszere litvánul is elkezdett fordítani. 2012–2014-ben a Vilniusi Egyetem az Európai Unió strukturális alapjainak DANIELIUS ALGIRDAS RALYS. Gépi fordítás litván nyelvre |16 D e B ea u g ra n d e R. A., D r e BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 s s le r W. U. 1981 : Introduction to Text Linguistics, London: Longman, 270. D o d di n g t on G. 2002: A gépi fordítás minőségének automatikus értékelése n-gram-együttelőfordulási statisztikák használatával. – A második Nemzetközi Konferencia az Emberi Nyelvi Technológia Kutatásáról konferenciakötete, San Francisco, CA, USA., Morgan Kaufmann Publishers Inc., 138–145. F o rc a d a M. L, G i n e s t í - Ro s e ll M., N o rd f a l k J., O ' R e gan J., O r t i z - R o ja s S., P é re z - O r ti z J. A., S á n c h e z -M a r t í n e z F., R a m í r e z -S á n c h e z G., T ye r s F. M. 2011: Apertium: szabad/nyílt forráskódú platform szabályalapú gépi fordításhoz. – Machine Translation 25 (2), Szabad/nyílt forráskódú gépi fordítás (2011. június), 127– 144. H a j ič J., H ri c J., K u b o ň V. 2000: Nagyon közeli nyelvek gépi fordítása. – A 6. Alkalmazott Természetesnyelv-feldolgozási Konferencia konferenciakötete, Association for Számítógépes nyelvészet, 7–12. H o m ol a P., R i m k u tė E. 2004: Artimų kalbų mašininis vertimas. – Kalbų studijos 6, 77–81. H u tc h i ns J. 2004a: A gépi fordítás két előfutára: Artsrouni és Trojanskij. – International Journal of Translation 16(1), 11–31. H u tc h i ns J. 2004b: A Georgetown–IBM-kísérlet bemutatása 1954 januárjában. – Az Amerikai Gépi Fordítási Szövetség (AMTA) 6. konferenciájának konferenciakötete, Washington, DC, 102–114. J o hn s o n M., S c h u st e r M., L e V. Q., K r i k un M., W u Y., C h e n Z., T h or a t N., V i é ga s F. B., W a t te n b e rg M., C o r ra d o G., H u g he s M., D e a n J. 2017: A Google többnyelvű neurális gépi fordítási rendszere: a zéró előzetes tanulást igénylő fordítás lehetővé tétele. – A Computational Linguistics Egyesületének kiadványa 5 (1), 339–351. K a lch b re n n e r N., B l un s o m P. 2013: Rekurrens folytonos fordítási modellek. – Az EMNLP konferencia kiadványa, október, Association for Computational Linguistics, Seattle, Washington, USA, 1700–1709. K oe hn P., H o an g H. 2007a: Faktoros fordítási modellek. – Az Empirikus Módszerek a Természetesnyelv-feldolgozásban közös konferenciájának kiadványa és a Computational Nyelvtanulás, ACL, 868–876. K oe hn P., H o a ng H., B i r c h A., C a ll i so n - B u rc h C., F e de r i co M., B e r t o l di N., Co w a n B., S he n W., M o ra n C., Ze n s R., D y e r C., B o j a r O., C o ns ta n tin A., H e rb s t E. 2007b: Moses: Nyílt forráskódú eszközkészlet statisztikai gépi DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai |17 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 fordításhoz. – A Computational Linguistics Egyesületének 45. éves ülése (ACL), kísérő kötet, 177–180. K oe hn P., O c h F. J., M a r c u D. 2003: Statisztikai, kifejezésalapú fordítás. – A HLT-NAACL konferencia kiadványa, 127–133. K os K., B o ja r O. 2009: A gépi fordítási metrikák értékelése cseh célnyelv esetén. – Prágai bulla. Math. Linguistics 92, 135–148. M c C ul l o c h W., P it t s W. 1943: Az idegi tevékenységben rejlő ideák logikai kalkulusa. – Mathematical Biophysics Bulletin 5, 115–133. M i ko l o v T., S u t sk e ve r I., C he n K., C o r ra d o G. S., D e a n J. 2013: Szavak és kifejezések elosztott reprezentációi és kompozicionalitásuk – A neurális információfeldolgozó rendszerek 26. nemzetközi konferenciájának tanulmánykötete, Lake Tahoe, Nevada, 2. kötet, 3111–3119. M i t am u r a T., N y be r g E., C a r b o ne l l J. 1991: Hatékony interlingua-fordítórendszer többnyelvű dokumentum-előállításhoz. – A gépi fordítási csúcstalálkozó III. konferenciájának tanulmánykötete, Washington, DC. Újranyomva: – Haladás a gépi fordításban, szerk. S. Nirenburg, IOS Press, (1993), 105–118. P ap i n e ni K., R o u ko s S. W a rd T., Z h u W. J. 2002: BLEU: a gépi fordítás automatikus értékelésének módszere. – ACL-2002: A Számítógépes Nyelvészet Szövetségének 40. éves ülése, Számítógépes nyelvészet, 311–318. R e if l e r E. 1960: Az MT nyelvészeti problémáinak megoldása lexikográfia révén. – Az Országos Gépi Fordítási Szimpózium előadásai, (1960. február 2–5.), szerk. H.P. Edmunson, London: Prentice-Hall, (1961), 312–316. R i mk u t ė E., K o v al e v s ka i t ė J. 2008: Az első angol–litván gépi fordítási rendszer nyelvészeti értékelése. – A Harmadik Balti Emberi Nyelvi Technológiák Konferenciájának előadásai (2007), Kaunas, 257–264. S k a di ņ š R., G o b a K., Š i c s V. 2010: A balt nyelvek gépi fordításának javítása faktorizált modellekkel. – A Baltic HLT negyedik nemzetközi konferenciájának előadásai, Frontiers in Artificial Intelligence and Applications, 219. köt., IOS Press, 125–132. S n ove r M., D o r r B., Sc h w a r t z R., M i cci u l l a L., M a k h ou l J. 2006: A fordítási szerkesztési arány vizsgálata célzott humán annotációval. – Az Amerikai Gépi Fordítási Szövetségének 7. konferenciájának előadásai, Morristown, NJ, USA, 223–231. DANIELIUS ALGIRDAS RALYS. Gépi fordítás a litván nyelvhez |18 hálózat. – A Neurális BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 S u ts k e ve r I., V i n ya l s O., V. L e Q. V. 2014: Sequence to sequence learning with neural Információfeldolgozási Rendszerek 27. Nemzetközi Konferenciájának előadásai, Montreal, Kanada, 2. köt., MIT Press Cambridge, MA, USA, 3104– 3112. Š v ei k a u sk i e nė D. 2005: Graph Representation of the Syntactic Structure of the Lithuanian Mondat. – Informatica 16 (3), 407–418. T o ma P. 1977: A Systran mint többnyelvű gépi fordítási rendszer. – Az Információs Rendszerek és Hálózatok Harmadik Európai Kongresszusának kiadványai, A nyelvi akadály leküzdése, München, 569–581. V a s iļ je vs A., Sk a d i ņ š R., T i e de m ann J. 2012: LetsMT! : felhőalapú platform a saját kezű gépi fordításhoz – Az ACL kiadványai, Rendszerbemutatók, Jeju Izland, Korea, 43–48. V a uqu o i s B. 1976: Automatikus fordítás – A különböző megközelítések áttekintése. – COLING-76, Ottawa. Újranyomva: – Olvasmányok a gépi fordításról, szerk. S. Nirenburg, H. L. Somers, Y. Wilks, MIT Press, (2003), 333–337. W e ave r W. 1949: Translation. – Újranyomva: – Nyelvek gépi fordítása, MIT Press, Cambridge, MA. (1955), 15–23. Beérkezett: 2017. 11. 13. Elfogadva: 2017. 12. 20. GÉPI FORDÍTÁS LITVÁN NYELVHEZ Ö s s z e f o g l a l ó A tanulmány a gépi fordítás történeti áttekintését, valamint jelenlegi tudományos eredményeit mutatja be. A másik nyelvről történő fordítás mindig bizonyos intellektuális kihívást jelent. 1949-ben Warren Weaver számítógépek használatát javasolta szövegek fordítására. Megjelenik a „gépi fordítás” (MT) kifejezés. A gépi fordítás az első évtizedekben gyorsan fejlődött annak érdekében, hogy stratégiai előnyre tegyen szert a hidegháborúban. A legnépszerűbb fordítási nyelvek az orosz és az angol voltak. A szóról szóra történő fordítás és a több mint 170 000 szó vált uralkodóvá. DANIELIUS ALGIRDAS RALYS. Gépi fordítás a litván nyelvhez |19 Az 1950-es és 1960-as években olyan gépi BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 fordítási rendszerek jelentek meg, amelyeket szabályalapúaknak lehet nevezni. Ezek azon a feltételezésen alapulnak, hogy egy nyelv szabályok (köztük nyelvtani szabályok) halmazával leírható. Meglehetősen optimista időszak volt – azt várták, hogy néhány év alatt tökéletes gépi fordítást hoznak létre. De egy számítógép aligha „érti” a nyelvtant. Erősen szabályalapú. Ezt még senki sem inflected languages require tens of thousands thoroughly hand-tuned and mutually consistent végezte el megfelelően. A legfejlettebb rendszerek az Európai Bizottságban elindított SYSTRAN gépifordítási rendszer és az orosz PROMT fordítási rendszer voltak. Ezt követően a szabályalapú gépi fordítás fejlődése lelassult. Az EUROTRA projektben (1982–1992) a szakemberek nem tudtak by some estimates costing more than 50,000,000 ECU, fails – even hundreds of recruited működő gépi fordítási rendszert létrehozni. Ez súlyos, szabályalapú gépi fordítási válságot jelentett. A fejlesztés egyszerűen megrekedt sok elkövetkező évre. Felmerült a kérdés: ha nem tudunk ennyi szabályt megírni, lehetséges-e egyáltalán nyelvtan nélkül fordítani? 1990-ben új áttörés következik be – az IBM Thomas J. Watson Research Center kutatócsoportja megfogalmazza a statisztikai gépi fordítás alapjait. A fordítási folyamatot egy bizonyos üzenet zajos csatornán keresztüli továbbításaként értelmezték. A dekódolást ezt követően a Bayes-tétel alapján végezték. A fordítás szövegkorpuszokon, különösen nagy, párhuzamos kétnyelvű szövegkorpuszokon alapul. A statisztikai gépi fordítás gyors fejlődésnek indult. Az Európai Bizottság által támogatott EuroMatrix projekt létrehozott egy univerzális, nyílt forráskódú gépi fordítási szoftvercsomagot, a MOSES-t, amely ipari szintű gépi fordítási rendszereken alapul. Jó eredményeket értek el – kiderült, hogy szótár vagy nyelvtan nélkül is lehet fordítani! Ez a módszer nagyban megkönnyítette az erősen ragozó nyelvek fordítását is. A gépi fordítás mai eredményeit hatékonyan alkalmazzák a litván nyelvre is. 2005–2007 között a Vytautas Magnus Egyetem egy uniós finanszírozású projektet hajtott végre „Internet Information Translator” címmel. Ennek eredménye egy angolról litvánra fordító nyilvános online fordítási szolgáltatás lett. (http://vertimas.vdu.lt/twsas/). A szabályalapú fordítómotort az orosz PROMT vállalat biztosította, míg az egyéb nyelvi erőforrásokat Litvániában készítették elő. A szövegfordítás általános minősége BLEU-mérőszámban (százalékban) körülbelül 10. A gyakorlatban ez azt jelenti, hogy csak minden harmadik mondat érthető meg megfelelően. Ennek a fordítóeszköznek még jelentős fejlesztési lehetőségei vannak, például a kifejezésszótár bővítésével. 2008. szeptember 25. óta a Google Fordító a litván nyelvet is támogatja. A tesztek eredményei szerint (2014) a BLEU-val mért fordítási minőség becslések szerint körülbelül 17 volt. DANIELIUS ALGIRDAS RALYS. Gépi fordítás litván nyelvre |20 2012–2014 A Vilniusi Egyetem BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 megvalósította az EU által finanszírozott „Statisztikai módszereken alapuló angol–litván–angol és francia–litván–francia gépi fordítási rendszer létrehozása” projektet. Az eredmény egy nyilvános online fordítószolgáltatás lett (https://www.versti.eu/). A 2014-ben elvégzett tesztek szerint a fordítási minőség BLEU-becslései több mint kétszeresen meghaladták a szabályalapú fordítás eredményeit, és gyakorlatilag egyenértékűek voltak a Google fordítórendszerével. Bizonyos szakterületek (például a jog) dokumentumainak fordításakor elért BLEU-pontszám nagyjából kétszer olyan magas, mint általános szövegek fordításakor, és messze meghaladja a Google eredményeit (2014. 09. 19.). A legjobb gépi fordítások is gyakran emberi beavatkozást és végső szerkesztést igényelnek a tökéletes fordítás eléréséhez. Tehát végső soron képesek a gépek megfelelően fordítani? Az elmúlt néhány év új áttöréseket ígér a neurális gépi fordítás alkalmazásával. Maguk a neurális hálózatok hozzák létre az átalakítási szabályokat. Valószínű, hogy a közeljövőben a neurális gépi fordítási rendszerek jobban fognak fordítani, mint egy átlagos fordító. 2018-ban a Vilniusi Egyetem egy EU által finanszírozott projekt elindítására készül, amely egy új generációs, angol, litván, lengyel, francia, orosz és német nyelvre és nyelvről fordító neurális gépi fordítási rendszer létrehozását Thus, the latest achievements in machine translation apply to the Lithuanian language as célozza. nos. KULCSSZAVAK: litván nyelv, gépi fordítás, számítógépes nyelvészet, történelem, neurális hálózatok, mesterséges intelligencia. DANIELIUS ALGIRDAS RALYS A Vilniusi Egyetem Alkalmazott Tudományok Intézete M. K. Čiurlionio g. 29, 03100 Vilnius danielius.raly[email protected]m