Strojni prevajalniki postajajo vse boljši in boljši. Kot smo videli v tem blogu, najboljše rezultate dobimo, če jih uporabljamo na primernih besedilih. Kako pa se obnašajo, ko se srečajo z besedili, ki niso najbolj primerna za strojno prevajanje, kot so literarna dela? Zanje velja prepričanje, da jih algoritmi za strojno prevajanje še dolgo ne bodo znali prevesti, vendar ali je to res? V Aikwitu smo se odločili, da preverimo te trditve!
Pravila igre
Vsak teden bomo izbrali kratek odlomek nekega literarnega dela in ga strojno prevedli z nekaj najbolj uveljavljenimi brezplačnimi strojnimi prevajalniki. Za začetek smo izbrali Google Translate, Microsoft Bing Translator in strojni prevajalnik ruskega iskalnika Yandex Translate. Vsi štirje člani Aikwitove ekipe bomo strojne prevode ocenili z oceno od 1 do 5, kjer je 5 najvišja in 1 najnižja ocena. Tako bomo skozi čas dobili povprečno oceno kakovosti posameznega strojnega prevajalnika na področju prevajanja literature.
Epizoda 1: Igra prestolov
Za začetek smo se odločili za Igro prestolov, sodobno klasiko fantazijske literature izpod peresa Georgea RR Martina, ki jo je v slovenščino mojstrsko prevedel Boštjan Gorenc Pižama. Za analizo smo izbrali prisego Nočne straže, s katero novi člane te starodavne organizacije prisežejo zvestobo črnini.
Takole je videti v angleškem izvirniku:
Night gathers, and now my watch begins. It shall not end until my death. I shall take no wife, hold no lands, father no children. I shall wear no crowns and win no glory. I shall live and die at my post. I am the sword in the darkness. I am the watcher on the walls. I am the fire that burns against the cold, the light that brings the dawn, the horn that wakes the sleepers, the shield that guards the realms of men. I pledge my life and honor to the Night’s Watch, for this night and all the nights to come.
Izvirno besedilo
In tako v slovenskem prevodu:
Noč se zgrinja in zdaj se začenja moja straža. Ne bo se končala, dokler ne preminem. Ne bom se poročil, si lastil zemlje, zaplodil otrok. Ne bom nosil kron in z bojem iskal časti. Živel in umrl bom na svojem stražnem mestu. Sem meč v temi. Sem opazovalec na obzidju. Sem ogenj, ki gori proti mrazu, luč, ki prinaša zoro, rog, ki budi speče, ščit, ki čuva kraljestva ljudi. Svoje življenje in čast zaobljubljam Nočni straži za to noč in vse noči, ki prihajajo.
Slovenski prevod
Zdaj pa k zanimivemu delu. Angleški izvirnik smo naložili v zgoraj omenjene strojne prevajalnike in dobili naslednje rezultate:
Noč se zbira, zdaj pa se začne moja ura. Ne bo se končalo do moje smrti. Ne bom vzel žene, ne bi imel zemlje, očeta ne bi imel otrok. Ne bom nosil kron in ne bom dobil slave. Jaz bom živel in umrl na svojem položaju. Jaz sem meč v temi. Jaz sem opazovalec na stenah. Jaz sem ogenj, ki gori proti mrazu, svetlobo, ki prinaša zoro, rog, ki prebudi pragovi, ščit, ki varuje ljudi. Obljubil sem svoje življenje in čast Nočni straži, za to noč in vse prihodnje noči.
Google Translate
Nočni zbira, zdaj pa se začne moja ura. Ne bo se končalo do moje smrti. Ne bom vzel žene, ne bo imel zemlje, očeta brez otrok. Ne bom nosil kron in zmagal brez slave. Živel bom in umrl na moji pošti. Jaz sem meč v temi. Jaz sem stražar na stenah. Jaz sem ogenj, ki gori proti mrazu, svetloba, ki prinaša zori, rog, ki zbudi pragovi, ščit, ki varuje Kraljevem ljudem. Prisegam svoje življenje in čast nočni straži, za to noč in vse noči, da pridejo.
Microsoft Bing
Noč se zbira in zdaj se začenja moja straža. Ne bo se končalo do moje smrti. Ne bom vzel žene, ne bom imel zemlje, ne bom imel otrok. Ne bom nosil kron in ne bom dobil slave. Živel in umrl bom na svojem mestu. Jaz sem meč v temi. Jaz sem opazovalec na obzidju. Jaz sem ogenj, ki gori proti mrazu, svetlobo, ki prinaša dawn, rog, ki zbudi pragovi, ščit, ki varuje svetovi moških. Svoje življenje in čast prisegam nočni straži za to noč in vse noči, ki prihajajo.
Yandex
Kaj lahko opazimo?
Noben prevajalnik ni uspel dobro prevesti glagola “gathers” v prvem stavku, vsi so izbrali precej dobeseden prevod “zbira”. Yandex ni uspel prevesti besede “dawn”, Bing pa je povsem zgrešil pomen besede “post” – novi člani Nočne straže bodo v Bingovem prevodu očitno raznašali pisma (Morda je to lahko rešitev za pomanjkanje poštarjev, s katerim se sooča naša Pošta?). Noben od prevajalnikov tudi ni pravilno prevedel besede “sleepers”. Vsi so uporabili tehnični izraz za “železniške pragove”, kar kaže, da je med podatki za učenje veliko tehnične vsebine.
Ocene Aikwitove ekipe
Oglejmo si, kako smo v Aikwitu ocenili tri prevode na lestvici od 1 do 5. 1 pomeni povsem nerazumljiv prevod, 5 pa pomeni prevod, ki je po kakovosti enak uradnemu prevodu človeškega prevajalca.
Bing | Yandex | ||
Davorin | 2,5 | 1,5 | 3,5 |
Goran | 3 | 2 | 3,5 |
Damijan | 2 | 1,5 | 2,5 |
Andraž | 3 | 2,5 | 3 |
Povprečje | 2,625 | 1.875 | 3.125 |
Morda malo presentljivo, vendar povsem zasluženo, je zmagovalec prve episode ruski Yandex.