DANIELIUS ALGIRDAS RALYS

Vilnius universitet

MASKINÖVERSÄTTNING TILL LITAUISKA¹

NYCKELORD: litauiska, historia, datorlingvistik, maskinöversättning, neurala nätverk, artificiell intelligens.

INLEDNING

I dag översätter datorer allt fler texter. Sådan automatisk datoröversättning kallas oftast maskinöversättning (MV). Maskinöversättning utförs vanligtvis för att så snabbt som möjligt få överblick över den enorma strömmen av information på olika språk, och också för att sprida sin egen information så brett som möjligt. Utbyte av elektronisk information mellan folk och språk blir en viktig del av vardagslivet, öppnar nya möjligheter för vårt språk och ställer det inför nya utmaningar och problem.

Termen ”maskinöversättning” (eng. machine translation) användes först i mitten av förra seklet av Warren Weaver, som föreslog att de då nyutvecklade datorerna skulle användas för att översätta texter (Weaver 1949: 1). W. Weaver föreslog att man skulle betrakta en text skriven på ett annat språk som ett chiffer som kunde avkodas. De kryptografiska framgångarna bland brittiska och amerikanska specialister under det nyligen avslutade andra världskriget väckte optimism. Då trodde man uppriktigt att elektroniska maskiner inom några år skulle bidra till att övervinna Babelstornets förbannelse.

Tyvärr gick utvecklingen av översättning långsamt, och maskinöversättningens kvalitet var inte på långa vägar jämförbar med mänsklig översättning. Efter sjuttio år, efter obestridliga framgångar och besvikelser och efter en stor mängd utfört arbete, råder åter optimistiska stämningar inom maskinöversättningsgemenskapen. Den här gången sätts förhoppningarna till artificiella neurala nätverk och de snabba framstegen inom utvecklingen av artificiell intelligens.

Maskinöversättning har inte heller gått litauiskan förbi. I dag är lättillgängliga maskinöversättningsverktyg på nätet i stånd att översätta från de mest populära språken till litauiska och omvänt. Översättningskvaliteten hos de flesta verktyg är fortfarande ganska dålig, och deras översatta texter måste redigeras. Endast översättningsverktyget Google Translate² utmärker sig genom bättre kvalitet; där har man börjat använda

¹ Artikeln bygger på föredraget ”Maskinöversättning till litauiska”, som hölls i Vilnius vid den 24:e internationella Jonas Jablonskis-konferensen ”Digitala språkresurser, deras utvecklingsriktningar och användningsmöjligheter” den 29 september 2017.

² Tillgänglig på internet https://translate.google.com.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 2

teknik för neur maskinöversättning. De flesta meningar som översätts med detta verktyg behåller den betydelse de hade i originalspråket.

Maskinöversättning används i stor utsträckning för att sprida information på andra språk. Ofta publiceras resultaten av maskinöversättning oansvarigt i den digitala miljön helt oredigerade. Följderna av sådana handlingar är redan synliga: internet vimlar av dåliga litauiska texter med förvrängd information, som automatiskt har genererats av det ena eller andra maskinöversättningsprogrammet³. Gradvis kan sådana texter också tränga in i textkorpusar. Maskinöversättning har redan blivit en vardaglig verklighet, ibland förbluffande och ibland rentav skriande, som förtjänar inte bara språkforskarnas mer uppmärksamma blick, utan också ett betydande större engagemang från deras sida i utvecklingen av maskinöversättning.

I denna artikel ges en kort historik över maskinöversättning (MV), och några idéer som har påverkat MV:s utveckling presenteras. Resultat som uppnåtts för litauiska med olika översättningstekniker redovisas. Möjligheterna att tillämpa MV på litauiska med regelbaserade, statistiska och neurala metoder analyseras. På grund av utrymmesbrist nämns inte försök att kombinera flera av dessa metoder i ett och samma översättningssystem.

1. MASKINÖVERSÄTTNINGENS URSPRUNG

En god översättning från ett annat språk är alltid en intellektuell utmaning för människan, och översättning har aldrig varit en lätt uppgift. Det är inte förvånande att man försökte automatisera översättningen på något sätt. Mellan 1932 och 1935 uppfann och konstruerade den franske ingenjören Georges Artsrouni en universell mekanisk apparat, som han kallade mekaniska hjärnor (fr. cerveau mécanique), och som bland sina övriga funktioner kunde översätta inmatad text till flera språk (Hutchins 2004a: 12). I denna elektromekaniska apparat löpte ett långt (upp till 40 meter) minnesband av flexibel kartong. På det fanns en flerspråkig ordbok, som kunde omfatta till och med flera tiotusentals ord. Ett franskt ord som skrevs in på tangentbordet kodades mekaniskt, och utifrån den koden roterades minnesbandet till rätt position. Efter ett tiotal sekunder visade apparaten översättningen av det inmatade ordet (Daumas 1965: 294–295). Apparaten demonstrerades på världsutställningen i Paris 1937, väckte stort intresse och belönades med Grand Prix. I själva verket var detta världens första

³ Jonathan Swift (Jonathan Swift) beskriver sarkastiskt i Gullivers resor en maskin som sätter samman meningslösa ordkombinationer, vilka ständigt och noggrant skrevs ned i böcker. I dag kan samma slags nonsens framställas mycket snabbare...

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 3

fungerande mekanisk ordbok. G. Artsrouni fortsatte senare att förbättra sin apparat, men mekaniska problem och andra världskrigets utbrott avbröt arbetet.

År 1933 fick Piotr Smirnov-Trojanskij i Sovjetunionen ett upphovsrättsintyg för en elektromekanisk översättningsmaskin⁴. Även om denna maskin aldrig tillverkades, formulerade uppfinnaren många värdefulla idéer om maskinöversättning, vilka förverkligades först många år senare, när datorerna kom. P. Smirnov-Trojanskij talade ryska och förstod därför väl de flekterande språkens särdrag. Han föreslog att översättningsprocessen skulle delas in i tre steg: i det första steget skulle en människa reducera texten till lemman och förse dem med morfologiska-syntaktiska markörer (analyssteget); därefter skulle maskinen i det andra steget automatiskt hitta lemman på ett eller flera målspråk och tilldela dem samma markörer (transformeringssteget); i det tredje steget skulle en redaktör utifrån översättningslemmana och deras markörer utarbeta en flytande översättningstext (genereringssteget). P. Smirnov-Trojanskij föreslog också olika metoder för att översätta synonymer, homonymer och idiom. P. Smirnov-Trojanskijs idéer uppskattades inte i hans hemland, och han fick aldrig uppleva datorernas tidsålder⁵, men uppfinnarens idéer föll inte i glömska och blev senare också kända i väst.

Den praktiska maskinöversättningens era började med datorernas tillkomst. År 1947 skrev W. Weaver ett brev till den briljante lingvisten och datorkonstruktören Norbert Wiener och frågade om de senaste framstegen inom kryptografin och de nyutvecklade datorerna⁶ kunde användas för språköversättning. W. Weaver hävdade att vilken rysk text som helst kunde betraktas som ett engelskt meddelande kodat med kyrilliska bokstäver. Han tyckte att datorer helt enkelt kunde dechiffrera meddelandet. Tyvärr var N. Wieners svar skeptiskt.

År 1949 skickade W. Weaver ut ett memorandum till en bredare publik, där han föreslog att datorer skulle användas för att översätta texter (Weaver 1949: 7)⁷. Vid den tiden dominerade idéer om enkel, ordagrann maskinöversättning vid olika amerikanska och brittiska laboratorier. Forskaren var övertygad om att datorer kunde översätta mycket bättre. I memorandumet föreslog W. Weaver fyra inriktningar för att lösa och undersöka översättningsproblem. För det första föreslog han en statistisk analys av det närmaste sammanhanget kring det ord som skulle översättas, för att på så sätt lösa problemen med polysemi. Denna insikt utgör i dag grunden för statistisk maskinöversättning. Det andra förslaget byggde på antagandet att det i språket

⁴ I upphovsrättsintyget kallas denna apparat ”en maskin för att välja och trycka ord vid översättning från ett språk till ett annat eller till flera språk samtidigt”.

⁵ P. Smirnov-Trojanskij dog 1950.

⁶ Den första brittiska elektroniska datorn, Colossus, togs i bruk i början av 1944, och den första amerikanska elektroniska digitaldatorn, ENIAC, färdigställdes i slutet av 1945. Den första sovjetiska datorn, MESM, färdigställdes 1950.

⁷ I detta memorandum av W. Weaver slog termen maskinöversättning (eng. machine translation) snart igenom.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 4

består av logiska element, och därför borde det med hjälp av neurala nätverksmodeller (McCulloch, Pitts 1943: 115–133) vara möjligt att härleda översättningen från de antaganden som finns i källspråket. Tiden har visat hur genial denna insikt var – i dag är den neurala metoden för maskinöversättning den som ger högst kvalitet. En tredje inriktning för att lösa problemen borde vara att tillämpa kryptografiska metoder på språköversättning. Fyrtio år senare förverkligades detta i algoritmer för statistisk maskinöversättning. För att illustrera det fjärde förslaget ritade W. Weaver en allegorisk bild där människor bodde i höga, slutna torn som symboliserade olika språk. Människorna lyckades nätt och jämnt kommunicera genom att ropa till varandra genom tornens tjocka väggar. Lyckligtvis hade tornen en gemensam grund och en underjordisk passage; det räckte med att gå ner dit, så borde kommunikationen bli lättare. W. Weaver hävdade att världens språk rymmer en viss gemensam djupstruktur som ännu måste avslöjas. Forskarens sista förslag ledde till försök att söka efter och konstruera ett universellt språk – maskinöversättningens interlingua⁸.

Efter W. Weavers memorandum tog maskinöversättningen snart fart. År 1954 demonstrerades offentligt i New York ett maskinöversättningssystem som utvecklats i samarbete mellan IBM och Georgetown University. Översättning skedde från ryska till engelska. Systemet var programmerat med endast sex grammatiska regler, och omkring 250 ord användes vid översättningen (Hutchins 2004b: 102). Systemet var inriktat på organisk kemi, och översättningsexemplen hade noggrant förberetts i förväg. Efter experimentet hoppades man att maskinerna skulle översätta utmärkt inom några år, och generös finansiering anslogs för fortsatt arbete. Maskinöversättning utvecklades snabbt i Amerikas förenta stater (USA) och Sovjetunionen i syfte att uppnå en strategisk fördel under det kalla kriget. De mest populära språken att översätta mellan var ryska och engelska.

2. REGELBASERAD MASKINÖVERSÄTTNING

I mitten av 1950-talet uppstod system för maskinöversättning (datoröversättning) som började kallas regelbaserade (eng. rule-based). De utvecklades utifrån uppfattningen att ett språk kan beskrivas med en uppsättning särskilda regler (däribland grammatiska). Med denna metod analyseras en mening på källspråket ned till en viss vald nivå, meningens struktur fastställs och omvandlas enligt de utarbetade reglerna till en motsvarande struktur på målspråket, utifrån vilken en mening på målspråket genereras. Meningsstrukturerna i olika språk kan skilja sig mycket åt och ha olika särdrag som måste återspeglas i maskinöversättningssystemet.

⁸ Bör inte förväxlas med naturliga språks interlingvor – esperanto, ido, volapük och liknande.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 5

systemet. Daiva Šveikauskienė (2005: 411–417) undersökte problemen med att återge litauiska meningars syntaktiska strukturer på ett sätt som lämpar sig för maskinöversättning. Det finns olika varianter av regelbaserade system för maskinöversättning, vilka skiljer sig åt efter analysdjup (fig. 1⁹). Ju djupare analys av meningen, desto enklare blir omvandlingen. I idealfallet skulle ingen omvandling alls behövas om texten analyserades ned till interlingvans nivå – den interlingvistiska textrepresentationen borde vara densamma på alla språk.

FIG. 1. Vauquois triangel för regelbaserad maskinöversättning

Man försökte lösa problemen med regelbaserad maskinöversättning med både empiriska och lingvistiska metoder. Bland empirikerna var direktöversättning den populäraste metoden. Vid översättning mellan två språk används då endast en ordbok och enkla programregler; någon egentlig språkanalys eller syntaktisk omstrukturering utförs inte (metoden motsvarar den lägsta nivån i fig. 1). I USA utvecklade en forskargrupp under ledning av Erwin Reifler på 1950-talet specialordböcker för maskinöversättning, där lexikala ekvivalenter kompletterades med regler för lokal förändring av ordföljden. De innehöll också översättningar av många fraser och övergripande begrepp (eng. cover terms) för att hantera problemen med polysemi. År 1964 togs det rysk-engelska direktöversättningssystemet Mark II i drift, utvecklat på uppdrag av det amerikanska flygvapnet. Det använde E. Reiflers ordbok, som omfattade över 170 000 ord (Reifler 1960: 312).

Lingvistiska metoder tillämpades i större utsträckning vid Georgetown University, där en stor styrka av forskare inom maskinöversättning samlades och delade upp sig i flera grupper som tillämpade olika metoder

⁹ Sådana illustrationer kallas ofta Vauquois trianglar; denna illustrationsmetod föreslogs av den franske pionjären inom maskinöversättning Bernard Vauquois (1976: 335).

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 6

grupper. I den grupp som leddes av Michael Zarechnak utvecklades Georgetown-systemet för automatisk översättning (eng. GAT – Georgetown Automatic Translation). Där utfördes analys på tre nivåer: morfologisk (som även omfattade identifiering av idiom), syntaktisk och syntagmatisk. Det modifierade GAT-systemet började användas framgångsrikt vid Euratom (i Ispra, Italien) 1963 och vid USA:s atomenergikommission 1964. Det tog betydligt längre tid att utveckla ett system för maskinöversättning som byggde på ett interlingua. Det var först under det sista decenniet av förra seklet som KANT, ett kommersiellt gångbart system för maskinöversättning, kom till (Mitamura m.fl. 1991: 105–118). Systemet användes för att översätta vissa tekniska texter. Något interlingua för att uttrycka allmänspråk utvecklades aldrig.

Under hela decenniet efter IBM–Georgetown-demonstrationen av maskinöversättning gjordes stora ansträngningar för att väsentligt förbättra kvaliteten på maskinöversättningen¹⁰, men framstegen var mycket små. År 1966 drog den kommitté för automatisk språkbehandling som inrättats i USA, ALPAC (eng. Automatic Language Processing Advisory Committee), slutsatsen att maskinöversättning saknade framtidsutsikter inom den närmaste tiden, eftersom kvaliteten var dålig och en översättare ändå måste redigera texten, vilket tog mer tid än att översätta utan maskiner. ALPAC-kommittén bortsåg från att maskinöversättning hjälpte till att översätta enorma informationsmängder och att många användare var nöjda med en dålig översättning som bara förmedlade den ungefärliga innebörden. Efter kommitténs negativa slutsatser upphörde finansieringen av maskinöversättningsprojekt i USA i praktiken under flera decennier, och finansieringen minskade även i andra länder.

Trots den rådande skeptiska inställningen till maskinöversättning skedde ständiga framsteg inom området. Det regelbaserade översättningssystemet SYSTRAN, vars utveckling inleddes i USA 1968 (Toma 1977: 569–581), förbättrades kontinuerligt och blev senare kommersiellt. Systemet började användas av USA:s försvarsdepartement, NASA, Euratom, Europeiska kommissionen och många andra. Genom ett kommersiellt avtal från 1975 fick Europeiska kommissionen rätt att vidareutveckla systemet för eget bruk. Systemet översatte texter inom vissa språkområden tämligen väl till många språk. Från och med 2010 började SYSTRAN använda hybridtekniker. Tämligen väl fungerande system för maskinöversättning utvecklades även i andra länder: ARIANE (i Grenoble, Frankrike), det liknande MU-systemet (i Kyoto, Japan) samt SUSY (i Saarbrücken, Tyskland). Det europeiska EUROTRA-projektet (1982–1992), som kostade mer än 50 000 000 ECU¹¹, slutade i ett misslyckande – hundratals specialister lyckades inte utveckla ett fungerande system för maskinöversättning. Därmed inleddes en allvarlig kris för regelbaserad maskinöversättning. Under många år därefter stod utvecklingen och stampade på samma ställe.

¹⁰ Under denna period spenderades omkring 20 miljoner dollar i USA på utveckling och förbättring av system för maskinöversättning.

¹¹ I en rapport från Europeiska gemenskapernas kommission (eng. CEC – Commission of the European Communities) från 1994 redovisades finansieringsuppgifter för EUROTRA – kommissionen anslog 37,5 miljoner ECU till projektet 1982–1992 (CEC 1994: 3.10), och olika länders regeringar anslog ytterligare mer än 20 miljoner ECU till EUROTRA:s sexton centrum (CEC 1994: A4.2).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 7

Regelbaserad maskinöversättning kom till Litauen först under detta århundrade. 2003–2004 anpassades maskinöversättningssystemet Česilko (Hajič m.fl. 2000: 10–12) till litauiska (Homola, Rimkutė 2004: 77–81). Under den perioden undersökte Petras Homola och Erika Rimkutė systemets möjligheter till maskinöversättning mellan tjeckiska och litauiska. 2005–2007 genomförde Vytautas Magnus-universitetet projektet ”Internetbaserat verktyg för informationsöversättning”, finansierat av Europeiska unionens strukturfonder. Strukturen hos det planerade systemet för maskinöversättning beskrevs av Vidas Daudaravičius (2006: 7–18). Ett offentligt internetbaserat översättningsverktyg från engelska till litauiska skapades¹². Översättningsmotorn tillhandahölls av det ryska företaget PROMT. En del av systemets språkliga komponenter utvecklades i Litauen. Systemet översatte bara vissa typer av meningar utmärkt; goda översättningar utgjorde en minoritet. År 2007 genomfördes en språklig utvärdering av detta system för maskinöversättning (Rimkutė, Kovalevskaitė 2008: 257–264). Audronė Daubarienė och Greta Ziezvytė (2013: 55–61) utvärderade hur väl översättningarna från VDU:s system för maskinöversättning uppfyllde textualitetsstandarderna (De Beaugrande, Dressler 1981: 3). I sitt arbete konstaterade författarna att de undersökta maskinöversatta texterna inom olika genrer, på grund av många semantiska fel, inte uppfyllde kraven på koherens eller vissa andra textualitetsstandarder och därför inte kunde vara acceptabla eller informativa för läsaren.

Allteftersom årtiondena gick och utvecklingen i huvudsak stampade på stället började man inse att språk är ett ytterst komplext fenomen som är mycket svårt att beskriva med regler. För att lösa problemen med flertydighet och översättning av anaforer föreslogs att man skulle använda extralingvistisk information om världens struktur och logik (Bar-Hillel 1958: 197–207). Sådan systematiserad information fanns dock helt enkelt inte, och en formell beskrivning av textens innebörd framstod som en svårare uppgift än själva översättningen. Det stod klart att problemen med maskinöversättning krävde revolutionerande lösningar.

2. STATISTISK MASKINÖVERSÄTTNING

År 1988 föreslog en grupp IBM-forskare (Brown m.fl. 1988: 71–76) att man skulle använda informationen i parallella textkorpusar för maskinöversättning och söka efter de mest sannolika översättningsalternativen. Den föreslagna översättningsmodellen bygger på antagandet att en mening på källspråket f i en brusig kanal omvandlas till en mening e på målspråket. Bruset i kanalen förvränger statistiskt meningen f på källspråket, så vid kanalens utgång kan vi få olika meningar e, av vitt skilda längder och med en eller annan betydelse på målspråket – eller helt utan betydelse. Eftersom kanalen strävar efter att översätta korrekt tränger korrekta översättningsalternativ allt oftare igenom bruset.

¹² Tillgänglig på internet http://vertimas.vdu.lt/twsas/.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 8

I den här modellen antas att när en mening f skickas in i kanalen, är det lämpligaste översättningsalternativet ê av alla e det vars betingade sannolikhet att uppträda vid kanalens utgång, p(e|f), är störst, det vill säga

ê = argmax_e p(e|f).

Här står man inför problemet att det för att hitta det bästa översättningsalternativet ê krävs att man går igenom inte bara alla möjliga meningar på målspråket, utan även alla möjliga ordkombinationer där. Det är mycket svårt att beräkna ett sådant antal sannolikheter. Med Bayes sats får man ett ekvivalent uttryck som är lättare att beräkna (Koehn et al. 2003: 127):

argmax_e p(e|f) = argmax_e p(f|e) p(e)

Ši lygtis yra pamatinė statistinio mašininio vertimo lygtis (Brown ir kt. 1993). Joje sąlyginė tikimybė p(f|e) parodo tikimybę, kad kanalu buvo pasiųstas sakinys f, jei išėjime pasirodė sakinys e. Šis lygties narys vadinamas vertimo modeliu, kuris apskaičiuojamas iš dvikalbių tekstynų. Antrasis lygties narys p(e) parodo sakinio e tikimybę vertimo kalboje. Šis narys aprašo kalbos modelį, kuris apskaičiuojamas iš vienkalbių vertimo kalbos tekstynų¹³.

FIG. 2. Vauquois-triangeln för statistisk maskinöversättning

Den översättningsmetod som föreslogs av IBM-forskare började omedelbart konkurrera med regelbaserad översättning när det gällde översättningskvalitet. Utvecklarna av statistiska system för maskinöversättning lockades av möjligheten att översätta till många språk utan att ha någon kunskap om vare sig översättning eller grammatik; det räckte att träna systemen som utvecklades på befintliga textkorpusar. Vid klassisk statistisk översättning utförs ingen

¹³ Språkmodellen minskar beräkningsmängden eftersom den gör det möjligt att omedelbart förkasta meningar som inte finns i korpusarna, hjälper till att välja den mest flytande översättningen och visar också indirekt varför skönlitteratur översätts bättre av en översättare vars målspråk är modersmålet.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 9

analys av meningar på källspråket eller syntes av meningar på målspråket (fig. 2); översättningen sker enbart utifrån de sannolikheter som fastställts under systemets träning. De fem modeller för ordordning i översättningar som Peter Brown och hans kollegor föreslog var inte tillräckligt flexibla: de tillät att ett ord på källspråket översattes med ett eller flera ord, eller inte alls. År 2003 föreslogs en flexiblare modell för maskinöversättning (P. Koehn et al. 2003: 127–133), som även kunde översätta fraser på källspråket.

Under denna period förbättrades metoderna för automatisk utvärdering av maskinöversättningens kvalitet snabbt, eftersom det var mycket viktigt att snabbt få veta vilken version av det system för maskinöversättning som höll på att finjusteras som översatte bäst. Man strävade också efter att utvärderingen skulle möjliggöra en objektiv jämförelse av översättningskvaliteten hos olika system. Med tiden blev BLEU (förkortning av engelska bilingual evaluation understudy) ett av de mest populära måtten (Papineni et al. 2002: 311–318). Det jämför automatiskt hur mycket en maskinöversatt text skiljer sig från en mänsklig översättning. Måttet tar inte hänsyn till textens begriplighet eller grammatiska korrekthet, utan räknar endast exakt överensstämmande ord eller fraser. Vid beräkningen av måttet ges överensstämmande fraser relativt sett större statistisk vikt än enskilda överensstämmande ord. Beroende på uppgiften används ofta även andra mått för att bedöma kvaliteten på maskinöversättning, med olika goda egenskaper: F-measure, METEOR (Banerjee, Lavie 2005: 62–72), NIST (Doddington 2002: 138–145), TER (Snover et al. 2006: 223–231) och många andra.

Trots den statistiska maskinöversättningens popularitet blev metodens begränsningar vid översättning till morfologiskt rika (flektiva) språk allt tydligare. Parallellkorpusar för flektiva språk innehåller oftast inte alla möjliga frasformer eller ens former av enskilda mindre vanliga ord. Om vissa möjliga former inte ingick i träningen av systemet för maskinöversättning, kommer dessa former inte heller att översättas. Denna brist hos klassisk maskinöversättning orsakas av otillräckliga data, vilket leder till att en gles matris över översättningssannolikheter erhålls när systemet tränats. För att övervinna denna brist föreslog Philipp Koehn och Hieu Hoang faktorerad statistisk maskinöversättning (Koehn, Hoang 2007a: 868–876). Man föreslog att ytterligare lingvistisk information skulle tillföras översättningssystemet genom att parallellkorpusarna annoterades med lingvistiska analysmarkörer, varefter de användes för att träna systemet. År 2007 presenterade P. Koehn och hans kollegor det fullständiga paketet för statistisk maskinöversättning Moses med öppen källkod för allmänheten (Koehn et al. 2007b: 177–180). Tillämpning av faktorerad statistisk maskinöversättning förbättrade översättningskvaliteten för flektiva språk något, vanligen med 1–2 BLEU-procentenheter (Bojar 2007: 235–236; Skadinš et al. 2010: 128–129).

Den 25 september 2008 började den statistiska maskinöversättningstjänsten Google Translate även översätta till litauiska. Under 2012–2014 genomförde Vilnius universitet Europeiska unionens strukturfonders

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 10

det finansierade projektet ”Utveckling av ett system för maskinöversättning mellan engelska–litauiska–engelska och franska–litauiska–franska med statistiska metoder”. Större delen av projektarbetet utfördes av UAB Tilde. MV-systemet ALPMAVIS skapades och en offentlig statistisk MV-tjänst på webben blev tillgänglig för allmänheten (https://www.versti.eu/)¹⁴. Enligt tester som genomfördes 2014 var kvalitetsvärdena för översättning av allmänna texter (med BLEU-måttet) mer än dubbelt så höga som resultaten för litauisk regelbaserad översättning och i praktiken likvärdiga med resultaten från översättningssystemet Google Translate. ALPMAVIS kan särskilt väl översätta juridiska texter.

3. KVALITETEN PÅ MASKINÖVERSÄTTNING TILL LITAUISKA

När ett nytt språkfenomen uppstod – litauiska texter översatta av maskiner – blev det intressant att utvärdera översättningens kvalitet i förhållande till standardspråket. En allmän text valdes för utvärderingen, eftersom den bättre återspeglar standardspråket, och BLEU-måttet användes för att mäta översättningskvaliteten.

För att testa översättningskvaliteten valdes en allmän text som publicerats på internet¹⁵.

BLEU beräknades för ett längre dokument än det utdrag som visas nedan, eftersom BLEU-värden på meningsnivå korrelerar dåligt med mänskliga kvalitetsbedömningar (Kos, Bojar 2009: 140). Informationen som presenteras hjälper läsaren att förstå hur de procentuella värdena för BLEU CI (beräknade utan åtskillnad mellan versaler och gemener) hänger samman med maskinöversättningens kvalitet. Å andra sidan kan läsaren, även utan att titta på siffrorna, själv bilda sig en uppfattning om hur MV-system som bygger på de tidigare beskrivna modellerna översätter.

Nedan presenteras översättningsversioner av samma originaltext, framtagna med olika översättningsmetoder. Före den översatta texten anges översättningsmetod, datum då översättningen gjordes på internet och det procentuella BLEU CI-värdet.

Originaltext på engelska:

Alla vill leva ett långt, lyckligt och hälsosamt liv, och forskarna gör sitt bästa för att detta ska bli möjligt. De tar itu med några av de största aktuella hälsoproblemen liksom framväxande hot, såsom den ökande påverkan från Alzheimers sjukdom, diabetes och antibiotikaresistenta ”superbakterier”. Investeringar i hälsoforskning och innovation hjälper oss att hålla oss aktiva, utveckla nya, säkrare och effektivare behandlingar och bidra till att hålla våra hälso- och vårdsystem

¹⁴ ALPMAVIS är också tillgängligt via det integrerade informationssystemet för litauiska språk- och skriftresurser Raštija.lt (www.raštija.lt).

¹⁵ Iš programos HORIZON 2020. Europos Komisijos Mokslinių tyrimų ir inovacijų generalinis direktoratas 2014.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 11

livskraftig. Det kommer att ge läkarna de verktyg de behöver för mer individanpassad medicin, och det kommer att stärka förebyggandet och behandlingen av kroniska och infektionssjukdomar.

Översättning utförd av en översättare:

Alla vill leva länge och lyckligt och vara friska, och forskare gör allt de kan för att göra detta möjligt. De försöker lösa några av de viktigaste befintliga hälsoproblemen och hälsoriskerna, såsom de allt större problem som orsakas av Alzheimers sjukdom, diabetes och antibiotikaresistenta mikroorganismer. Investeringar i hälso- och sjukvårdsforskning och innovation hjälper oss att förbli aktiva, utveckla nya, säkrare och effektivare behandlingar och bevara livskraften i våra hälso- och sjukvårdssystem. De kommer att ge läkarna de verktyg som behövs för att välja läkemedel utifrån patienternas individuella behov; dessutom kommer de att bidra till att förebygga och behandla kroniska och smittsamma sjukdomar.

VDU regelbaserad maskinöversättning, 2014 09 19, BLEU – 8,54:

Alla vill ha ett långt, lyckligt och hälsosamt liv, och forskare strävar efter att göra detta möjligt. De hanterar några av de viktigaste aktuella hälsoproblemen samt framväxande hot, såsom den ökande effekten av Alzheimers sjukdom, diabetes och antibiotikaresistenta ”superbaciller”. Investeringar i hälsoforskning och innovation hjälper oss att förbli aktiva, utveckla nya, säkrare och effektivare behandlingar och bidra till att hålla våra hälso- och sjukvårdssystem livskraftiga. Det kommer att ge läkarna de verktyg de behöver för mer individanpassad medicin och stärka förebyggandet och behandlingen av kroniska och infektionssjukdomar.

ALPMAVIS statistisk maskinöversättning, 2014 09 19, BLEU – 17,59:

Alla vill ha ett långt, lyckligt och hälsosamt liv, och forskare strävar efter att göra detta möjligt. De tar sig an några av de viktigaste hälsoproblemen och framväxande hoten, till exempel den ökande effekten av Alzheimers sjukdom, diabetes och antibiotikaresistenta ”superbugs”. Investeringar i hälsoforskning och innovation hjälper oss att förbli aktiva, utveckla nya, säkrare och effektivare behandlingar och bidra till att bevara hälso- och sjukvårdssystemens livskraft. Detta kommer att ge läkarna de verktyg de behöver för mer individanpassad medicin och främja förebyggandet och behandlingen av kroniska och infektionssjukdomar.

Google statistisk maskinöversättning, 2014 09 19, BLEU – 17,10:

Var och en av oss strävar efter ett långt, hälsosamt och lyckligt liv, och forskarna gör allt de kan för att uppnå detta. De tar sig an några av de viktigaste hälsoproblemen och även nya hot, såsom den ökande effekten av Alzheimers sjukdom, diabetes och antibiotikaresistenta ”superbugs”. Investeringar i forskning och innovation inom hälsa hjälper oss att förbli aktiva, skapa nya, säkrare och effektivare behandlingar och bidra till att stödja våra hälso- och sjukvårdssystems hållbarhet. Detta kommer att ge läkarna de verktyg de behöver för att utöva mer individanpassad medicin och göra större insatser för att förebygga och behandla infektionssjukdomar och kroniska sjukdomar.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 12

Microsoft Translator (Bing) statistisk maskinöversättning, 2017 09 27, BLEU −16,68:

Alla vill leva ett långt, lyckligt och hälsosamt liv, och forskare gör allt för att detta ska bli möjligt. De kämpar mot några av dagens största hälsoproblem och mot nya hot, såsom den växande inverkan av Alzheimers sjukdom, diabetes och antibiotikaresistenta superbakterier. Investeringar i hälsoforskning och innovation hjälper oss att förbli aktiva, utveckla nya, säkrare och effektivare behandlingar och bidra till att hålla vår hälsa och våra vårdsystem livskraftiga. De ger de verktyg som behövs för en mer personlig medicin och stärker läkarnas arbete med att förebygga och behandla kroniska och infektionssjukdomar.

De presenterade utdragen från maskinöversättning återspeglar den typiska kvaliteten på maskinöversättning av allmänna texter. Betydligt bättre översättningar av allmänna texter erhålls endast när texten som översätts någon gång har använts för att träna systemet. En objektiv bedömning av ett maskinöversättningssystems kvalitet är möjlig endast med texter som aldrig har ingått i systemets träning. Man måste konstatera att de statistiska och regelbaserade maskinöversättningssystem som används i praktiken fortfarande översätter allmänna texter till litauiska dåligt.

4. NEURONAL MASKINÖVERSÄTTNING

År 2013 föreslog Nal Kalchbrenner och Phil Blunsom att använda neurala nätverk för maskinöversättning (Kalchbrenner, Blunsom 2013: 1700–1709). Idén att använda datorers grafikprocessorer för beräkningar med neurala nätverk öppnade möjligheter att lösa praktiska problem, däribland att utföra maskinöversättning. För att realisera neuronal maskinöversättning (NMV) används miljontals artificiella neuroner. NMV-konceptet är ganska enkelt – en kodare omvandlar en hel mening på källspråket i ett vektorrum med några hundra dimensioner till en så kallad tankevektor¹⁶, som består av en talföljd som på så sätt representerar meningens betydelse. I praktiken är denna vektor en vektoriserad tanke om meningen. Riktningarna hos vektorer som representerar besläktade föremål och idéer skiljer sig bara lite åt¹⁷. En avkodare genererar en översättning utifrån tankevektorn. Både kodaren och avkodaren konstrueras med rekurrenta neurala nätverk som grund (Sutskever m.fl. 2014: 3104–3112; Cho m.fl. 2014: 1724–1734).

¹⁶ Termen populariserades av Geoffrey Hinton, en av de mest framstående skaparna av artificiell intelligens.

¹⁷ Detta kan man till exempel konstatera genom att experimentera med vektoriseringsverktyget word2vec (Mikolov m.fl. 2013: 3111–3119).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 13

FIG. 3. Vauquois-triangeln för neuronal maskinöversättning

Fig. 3 visar ett schema över neuronal maskinöversättning enligt Vauquois-triangeln¹⁸. Det bör uppmärksammas att en hög analysnivå uppnås automatiskt, i närheten av interlingua. NMV-systemet tränas med hjälp av parallellkorpusar. Under träningen programmerar de rekurrenta neurala nätverken automatiskt in den morfologiska, syntaktiska och semantiska information som finns i meningarna, tillsammans med regelbundenheter som upptäcks i varierande grad. Till sist har maskinöversättning blivit en oskiljaktig del av utvecklingen av artificiell intelligens. Neural maskinöversättning utvecklas snabbt och ger mycket bättre resultat än regelbaserad eller statistisk maskinöversättning.

När man undersökte NMV:s möjligheter stötte man snart på ett nytt fenomen – neurala nätverk kunde översätta mellan språkpar som nätverken inte hade tränats direkt för. Om ett NMV-system hade tränats för att översätta från språk A till språk B och även från språk A till språk C, kunde systemet också översätta från språk B till C (Johnson 2017: 339–351), om än med något lägre översättningskvalitet. Ett sådant fenomen kan betecknas som översättning utan exempel (eng. zero-shot translation). Det innebär att det neurala nätverket i ett maskinöversättningssystem under träningen skapar ett eget interlingua, som bara nätverket självt förstår.

I slutet av 2016 började Google Translate (GT) använda neural översättning. Så här ser den neurala översättningen av vårt illustrativa exempel ut (Google neuronal maskinöversättning 2017 09 14, BLEU CI – 25,94):

¹⁸ En illustration av neuronal maskinöversättning enligt Vauquois-triangeln publicerades på SYSTRANs webbplats 2016 under titeln ”Pure Neural Machine Translation”. Tillgänglig på internet: http://www.systransoft.com/download/white-papers/systran-white-paper-PNMT-12-2016_2.pdf, (hämtad 2017 11 06).

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 14

Alla vill leva ett långt, lyckligt och hälsosamt liv, och forskarna gör allt för att detta ska bli möjligt. De löser några av dagens viktigaste hälsoproblem och hanterar även framväxande hot, till exempel den ökande förekomsten av Alzheimers sjukdom, diabetes och antibiotikaresistenta ”superbugs”. Investeringar i hälsoforskning och innovation hjälper oss att förbli aktiva, utveckla nya, säkrare och effektivare behandlingar och hålla våra hälso- och sjukvårdssystem livskraftiga. Det ger läkarna de verktyg de behöver för en mer individanpassad medicin och förbättrar därmed förebyggandet och behandlingen av kroniska och infektionssjukdomar.

Det måste erkännas att det neurala nätverket översatte vårt exempel ojämförligt bättre än regelbaserade eller statistiska maskinöversättningssystem. Än så länge översätter GT inte allt lika framgångsrikt; till exempel gav ett försök att översätta Beauty requires no ornaments resultatet Grožis nereikalingas papuošalams. Genom liknande experiment kan man identifiera många fall där GT översätter mycket dåligt, så det finns fortfarande mycket att förbättra.

Vilnius universitet planerar att 2018 börja införa nästa generations neurala maskinöversättning för engelska, litauiska, polska, franska, ryska och tyska. Ett automatiskt system för omvandling av text till tal och översättning av text som dikterats på litauiska kommer att integreras i översättningssystemet.

5. AVSLUTANDE ANMÄRKNINGAR

Framstegen inom maskinöversättning är i dag oupplösligt förbundna med utvecklingen av artificiell intelligens. När det gäller översättningskvalitet behöver alla klassiska metoder för maskinöversättning förbättras; möjligheterna är inte uttömda och det är oklart var gränserna går. Den romantiska perioden av enkla framgångar är över; heuristiska matematiska eller tekniska metoder hjälper inte alltid. Barn lär sig språk som om det skedde automatiskt och utan ansträngning, men senare förfinas deras språk endast genom studier av grammatik och litteratur. Det verkar svårt att fortsätta förbättra maskinöversättningen utan ett mer betydande engagemang från lingvister. Ett sådant engagemang underlättas av maskinöversättningsverktyg som implementerats på plattformar med öppen källkod: till exempel Apertium för regelbaserad översättning (Forcada et al. 2011: 127–144); Moses (Koehn et al. 2007b: 177–180), LetsMT! (Vasiljevs et al. 2012: 43–48) för statistisk översättning, TensorFlow och OpenNMT för neural översättning. Man får hoppas att lingvister i Litauen förenar sina krafter för att ta itu med den moderna datorlingvistikens utmaningar, eftersom några av dem är existentiellt viktiga för vårt språk.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 15

LITERATŪRA

Banerjee S., Lavie A. 2005: METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. – Proceedings of Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization at the 43th Annual Meeting of the Association of Computational Linguistics (ACL-2005), Ann Arbor, Michigan, 62–72.

Bar-Hillel Y. 1958: Some linguistic obstacles to machine translation. – Proceedings of the Second International Congress on Cybernetics, Namur, 197–207.

Bojar O. 2007: English-to-Czech factored machine translation. – Proceedings of the Second Workshop on Statistical Machine Translation, Prague, Czech Republic, 232–239.

Brown P. F., Cocke J., Della Pietra S. A., Della Pietra V. J., Jelinek F., Mercer R. L., Roossin P. S. 1988: A statistical approach to language translation. – Proceedings of COLING 1988: The 12th International Conference on Computational Linguistics, Budapest, 71–76.

Brown P. F., Della Pietra S. A., Della Pietra V. J., Mercer R. L. 1993: Mathematics of statistical machine translation: Parameter estimation. – Computational Linguistics 19(2), 263–311.

Cho K., Bart van Merrienboer, Gulcehre C., Bougares F., Schwenk H., Bengio Y. 2014: Learning phrase representations using RNN encoder-decoder for statistical machine translation. – Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), Association for Computational Linguistics, Doha, Qatar, 1724–1734.

Commission of the European Communities 1994: Final Evaluation Of The Results Of Eurotra: A Specific Programme Concerning The Preparation Of The Development Of An Operational Eurotra System For Machine Translation. DIANE Publishing Company, 1995, 194.

Daubarienė A., Ziezytė G. 2013: Machine translation: translated texts in terms of standards of textuality. – Kalbų studijos 22, 55–61.

Daudaravičius V., 2006: Pradžia į begalybę. Mašininis vertimas ir lietuvių kalba. – Darbai ir dienos: Pažangos šuoliai 45, 7–18.

Daumas M. 1965: Les machines à traduire de Georges Artsrouni. – Revue d'histoire des sciences et de leurs applications, tome 18, n°3, 283–302.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 16

De Beaugrande R. A., Dressler W. U. 1981: Introduction to Text Linguistics, London: Longman, 270.

Doddington G. 2002: Automatic Evaluation of Machine Translation Quality Using Ngram Co-occurrence Statistics. – Proceedings of the Second International Conference on Human Language Technology Research, San Francisco, CA, USA., Morgan Kaufmann Publishers Inc., 138–145.

Forcada M. L, Ginestí-Rosell M., Nordfalk J., O'Regan J., Ortiz-Rojas S., Pérez-Ortiz J. A., Sánchez-Martínez F., Ramírez-Sánchez G., Tyers F. M. 2011: Apertium: a free/open-source platform for rule-based machine translation. – Machine Translation 25 (2), Free/Open-Source Machine Translation (June 2011), 127–144.

Hajič J., Hric J., Kuboň V. 2000: Machine Translation of Very Close Languages. – Proceedings of the 6th Applied Natural Language Processing Conference, Association for Computational Linguistics, 7–12.

Homola P., Rimkutė E. 2004: Artimų kalbų mašininis vertimas. – Kalbų studijos 6, 77–81.

Hutchins J. 2004a: Two precursors of machine translation: Artsrouni and Trojanskij. – International Journal of Translation 16(1), 11–31.

Hutchins J. 2004b: The Georgetown-IBM experiment demonstrated in January 1954. – Proceedings of the 6th Conference of the Association for Machine Translation in the Americas, AMTA, Washington, DC, 102–114.

Johnson M., Schuster M., Le V. Q., Krikun M., Wu Y., Chen Z., Thorat N., Viégas F. B., Wattenberg M., Corrado G., Hughes M., Dean J. 2017: Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation. – Transactions of the Association of Computational Linguistics 5 (1), 339–351.

Kalchbrenner N., Blunsom P. 2013: Recurrent Continuous Translation Models. – Proc. of EMNLP, October, Association for Computational Linguistics, Seattle, Washington, USA, 1700–1709.

Koehn P., Hoang H. 2007a: Factored translation models. – Proceedings of the Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, ACL, 868–876.

Koehn P., Hoang H., Birch A., Callison-Burch C., Federico M., Bertoldi N., Cowan B., Shen W., Moran C., Zens R., Dyer C., Bojar O., Constantin A., Herbst E. 2007b: Moses: Open source toolkit for statistical machine

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 17

translation. – 45th Annual Meeting of the Association for Computational Linguistics (ACL), Companion Volume, 177–180.

Koehn P., Och F. J., Marcu D. 2003: Statistical phrase-based translation. – Proceedings of HLT-NAACL, 127–133.

Kos K., Bojar O. 2009: Evaluation of Machine Translation Metrics for Czech as the Target Language. – Prague Bull. Math. Linguistics 92, 135–148.

McCulloch W., Pitts W. 1943: A logical calculus of the ideas immanent in nervous activity. – Bulletin of Mathematical Biophysics 5, 115–133.

Mikolov T., Sutskever I., Chen K., Corrado G. S., Dean J. 2013: Distributed Representations of Words and Phrases and their Compositionality – Proceedings of the 26th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, Vol. 2, 3111–3119.

Mitamura T., Nyberg E., Carbonell J. 1991: An efficient interlingua translation system for multi-lingual document production. – Proceedings of Machine Translation Summit III, Washington, DC. Perspausdinta: – Progress in Machine Translation, ed. S. Nirenburg, IOS Press, (1993), 105–118.

Papineni K., Roukos S. Ward T., Zhu W. J. 2002: BLEU: a method for automatic evaluation of machine translation. – ACL-2002: 40th Annual meeting of the Association for Computational Linguistics, 311–318.

Reifler E. 1960: The solution of MT linguistic problems through lexicography. – Proceedings of the National Symposium on Machine Translation, (February 2–5, 1960), ed. H.P. Edmunson, London: Prentice-Hall, (1961), 312–316.

Rimkutė E., Kovalevskaitė J. 2008: Linguistic Evaluation of the First English-Lithuanian Machine Translation System. – Proceedings of the Third Baltic Conference on Human Language Technologies (2007), Kaunas, 257–264.

Skadinš R., Goba K., Šics V. 2010: Improving SMT for Baltic Languages with Factored Models. – Proceedings of the Fourth International Conference Baltic HLT, Frontiers in Artificial Intelligence and Applications, Vol. 219, IOS Press, 125–132.

Snover M., Dorr B., Schwartz R., Micciulla L., Makhoul J. 2006: A Study of Translation Edit Rate with Targeted Human Annotation. – Proceedings of the 7th Conference of the Association for Machine Translation in the Americas, Morristown, NJ, USA, 223–231.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 18

Sutskever I., Vinyals O., V. Le Q. V. 2014: Sequence to sequence learning with neural networks. – Proceedings of the 27th International Conference on Neural Information Processing Systems, Montreal, Canada, Vol. 2, MIT Press Cambridge, MA, USA, 3104–3112.

Šveikauskienė D. 2005: Graph Representation of the Syntactic Structure of the Lithuanian Sentence. – Informatica 16 (3), 407–418.

Toma P. 1977: Systran as a multilingual machine translation system. – Proceedings of the Third European Congress on Information Systems and Networks, Overcoming the language barrier, München, 569–581.

Vasiljevs A., Skadiņš R., Tiedemann J. 2012: LetsMT!: a cloud-based platform for do-it-yourself machine translation – Proceedings of the ACL, System Demonstrations, Jeju Island, Korea, 43–48.

Vauquois B. 1976: Automatic translation – A survey of different approaches. – COLING-76, Ottawa. Perspausdinta: – Readings in machine translation, eds. S. Nirenburg, H. L. Somers, Y. Wilks, MIT Press, (2003), 333–337.

Weaver W. 1949: Translation. – Perspausdinta: – Machine Translation of Languages, MIT Press, Cambridge, MA. (1955), 15–23.

Įteikta 2017 11 13

Priimta 2017 12 20

MACHINE TRANSLATION FOR LITHUANIAN LANGUAGE

Summary

The paper presents a historical overview as well as current state of the art of the machine translation. Translation from another language is always a certain intellectual challenge. In 1949 Warren Weaver suggested using computers to translate texts. The term "machine translation" (MT) appears. Machine translation has been rapidly developing during the first decades in order to gain a strategic advantage in the Cold War. Most popular translated languages were Russian and English. Word-to-word translation and large bilingual dictionaries covering more than 170,000 words prevailed.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351–7204

DANIELIUS ALGIRDAS RALYS. Masininis vertimas lietuvių kalbai | 19

In the 1950s and 1960s, machine translation systems appeared which could be called rule-based. They are based on the assumption that a language can be described using a set of rules (including grammatical). It was a rather optimistic period – it was expected to create a perfect machine translation in a few years. But a computer hardly "understands" grammar. Highly inflected languages require tens of thousands thoroughly hand-tuned and mutually consistent rules. Nobody has done this properly yet. The most advanced systems were the SYSTRAN MT system, launched in the European Commission and the Russian PROMT translation system. Subsequently, the rule-based MT progress slowed down. The EUROTRA project (1982–1992), by some estimates costing more than 50,000,000 ECU, fails – even hundreds of recruited specialists failed to create a functioning MT system. This marked a serious rule-based MT crisis. Development simply stalled for many forthcoming years.

The question was raised: if we cannot write so many rules, can it be translated without grammar at all? In 1990 a new breakthrough emerges – the research team at the IBM Thomas J. Watson Research Center formulates the basics of statistical machine translation. The translation process has been considered as a transmission of a certain message over a noisy channel. Decoding then has been performed on the basis of the Bayesian theorem. Translation is based on text corpora, especially on large parallel bilingual text corpora. There was a rapid improvement of statistical MT. The EuroMatrix project, supported by the European Commission, has created a universal open source machine translation software package MOSES, based on industry-level MT systems. Good results have been obtained – it turns out that you can translate without any dictionary or grammar! This method has greatly facilitated the translation of highly inflected languages too.

The achievements of machine translation today are effectively applied to the Lithuanian language as well. During 2005–2007 Vytautas Magnus University has carried out an EU-funded project "Internet Information Translator". The result was a public online translation service from English to Lithuanian. (http://vertimas.vdu.lt/twsas/). The rule-based translation engine was provided by the Russian company PROMT, while other linguistic resources were prepared in Lithuania. The overall quality of text translation in BLEU metrics (in percent) is about 10. In practice, this means that only every third sentence can be adequately understood. This translation tool still has considerable potential for improving, for example by expanding phrase dictionary. Since September 25, 2008 Google Translate also supports Lithuanian. According to the results of the tests (2014), the BLEU translation quality was estimated to be around 17.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

DANIELIUS ALGIRDAS RALYS. Mašininis vertimas lietuvių kalbai | 20

2012–2014 Vilnius University implemented the EU-funded project "Creation of English-Lithuanian-English and French-Lithuanian-French machine translation system based on statistical methods". The result was a public online translation service (https://www.versti.eu/). According to the tests carried out in 2014, the BLEU estimates of the translation quality exceeded more than twice the rule-based translation results and were practically equivalent to the Google translation system. When translating the documents of certain domain (such as law) the achieved BLEU score is roughly twice as high as translating general texts and far exceeds Google's results (19-09-2014). However, even the best machine translations often require human intervention and final editing in order to get the perfect translation. So, can machines ultimately translate fine?

The last few years promise new breakthroughs using a neural machine translation. Neural networks themselves construct transformation rules. It is likely that in the near future the neural MT systems will translate better than an average translator. In 2018 Vilnius University is preparing to launch the EU-funded project of a new generation neural machine translation of English, Lithuanian, Polish, French, Russian and German.

Thus, the latest achievements in machine translation apply to the Lithuanian language as well.

KEYWORDS: Lithuanian, machine translation, computational linguistics, history, neural networks, artificial intelligence.

DANIELIUS ALGIRDAS RALYS

Vilniaus universiteto Taikomųjų mokslų institutas

M. K. Čiurlionio g. 29, 03100 Vilnius

[email protected]

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204