Nekajkrat smo že preverili (1, 2, 3, 4), kako dobro se strojni prevajalniki spopadejo z literarnimi besedili. Kljub velikemu skoku v kakovosti, do katerega je prišlo ob prehodu na algoritme nevronskih mrež (Strojno prevajanje je zanič, mar ne?), smo ugotovili, da je še precej prostora za napredek. Veliko je sicer odvisno od pričakovanj, saj so deli prevodov dobri, celota pa je še daleč od dobrega literarnega prevoda.

Toda strojni prevajalniki primarno niso namenjeni prevajanju literarnih besedil. Precej bolj realna je situacija, ko potrebujemo hiter prevod spletne strani, e-pošte ali dopisa. Pričakovali bi, da bo kakovost prevodov pri takih besedilih precej boljša, zato smo se odločili, da jo bolj natančno stestiramo. V tej seriji blogov bomo torej preizkušali strojne prevajalnike z besedili, s katerimi se največkrat srečujejo.

Pravila igre

Vsak teden ali dva bomo izbrali kratko besedilo in ga strojno prevedli z nekaj najbolj uveljavljenimi brezplačnimi strojnimi prevajalniki.

Tekmovalci so: Google Translate, Microsoft Bing Translator, strojni prevajalnik ruskega iskalnika Yandex Translate in tekmovalec iz domačih logov, ki so ga razvili v laboratoriju za umetno inteligenco na Institutu Jožefa Stefana. Vsi štirje člani Aikwitove ekipe bomo strojne prevode ocenili z oceno od 1 do 5, kjer je 5 najvišja in 1 najnižja ocena. Tako bomo skozi čas dobili povprečno oceno kakovosti posameznega strojnega prevajalnika.

Epizoda 2: Navodila za uporabo

V prejšnjem blogu smo si pogledali, kako dobro strojni prevajalniki prevajajo pravilnik o zasebnosti, ki ga mora objaviti vsako podjetje na spletu, tokrat pa bomo vzeli krajši odsek iz navodil za uporabo (za tiskalnik), ki so eden od najbolj pogostih tipov besedil za prevajanje:

1. Select Paper Handling from the pop-up menu
2. Check the Collate pages check box when you are specifying multiple copies in the Copies box
   Check the Collate pages check box to print all the pages of a single copy together.
   Uncheck this check box to print all pages with the same page number together.
3. Specify the print order
   Check Page Order.
   When you select Automatic or Reverse, printing starts from the last page.
   When you select Normal, printing starts from the first page.

Takole se je z besedilom spopadel Google:

1. V pojavnem meniju izberite ravnanje s papirjem
2. Potrdite potrditveno polje Collate pages, ko v polju Copies določite več kopij
   Potrdite potrditveno polje Collate pages (Natisni strani), da skupaj natisnete vse strani ene kopije.
   Počistite to potrditveno polje, da skupaj natisnete vse strani z isto številko.
3. Določite vrstni red tiskanja
   Preveri vrstni red strani.
   Ko izberete samodejno ali obratno, se tiskanje začne z zadnje strani.
   Ko izberete Običajno, se tiskanje začne s prve strani.
   
   

Tako Bing:

1. v pojavnem meniju izberite rokovanje s papirjem
2. potrdite potrditveno polje Collate strani, ko določite več kopij v polju kopije
   Če želite natisniti vse strani ene kopije skupaj, preverite potrditveno polje Collate strani.
   Počistite to potrditveno polje, če želite natisniti vse strani z isto številko strani skupaj.
3. določite vrstni red tiskanja
   Preverite vrstni red strani.
   Ko izberete samodejno ali obratno, se tiskanje začne na zadnji strani.
   Ko izberete Normal, se tiskanje začne na prvi strani.
   
   

Tako Yandex:

1. Izberite ravnanje s papirjem iz pojavnega menija
2. Omogočite potrditveno polje za primerjalne strani, ko v kopirnem polju navedete več izvodov
   Omogočite potrditveno polje za primerjalne strani, da skupaj natisnete vse strani ene kopije.
   Odlepi to potrditveno polje, da natisneš vse strani z isto številko strani.
3. Navedite vrstni red tiskanja
   Preveri Vrstni Red Strani.
   Ko izberete Samodejno ali obratno, se tiskanje začne na zadnji strani.
   Ko izberete običajno, se tiskanje začne na prvi strani.
   
   

In tako IJS:

1. Izberite papir z jedilnim menijem.
2. Preverite škatlo s čekom, ko natančno določate številne izvode v škatli s kopijami.
   Preveri, ali se Collate strani pregledajo, da natisnejo vse strani ene same kopije.
   Preveri to škatlo in natisni vse strani skupaj z isto številko strani.
3. Navesti vrstni red odtisa
   Preveri Page Red.
   Ko izberete Automatic ali Reverse, se tiskanje začne na zadnji strani.
   Ko izberete normalno, se tiskanje začne na prvi strani.
   
   

Kaj lahko opazimo?

V splošnem so prevodu slabši v primerjavi s prevodi pravilnika o zasebnosti. Google Translate ostaja korak pred konkurenco, IJS prevajalnik pa zaostaja. Razlog je najverjetneje v tem, da imajo ostali trije na voljo več podobnih besedil (navodil) za učenje stroja, IJS pa uporablja zgolj javno dostopne zbirke prevodov. Velika večina med njimi so besedila, ki nastajajo v okviru Evropske unije, med katerimi ni veliko navodil za uporabo. Opazimo lahko tudi, da imajo vsi težave z doslednostjo pri obravnavo elementov uporabniškega vmesnika (Collate pages, Automatic, Reverse). Tudi to je razumljivo, če vemo, da se prevajanje teh elementov razlikuje med različnimi navodili za uporabo, zato učni podatki niso dosledni, to pa se pokaže v kakovosti strojnega prevoda. Pri Bingu lahko poleg tega opazimo, da ne prepozna naštevanja in stavke začenja z malo začetnico, Yandex pa v enem primeru preklopi iz vikanja na tikanje.

Ti prevodi dobro ponazorijo pomen kakovostnih učnih podatkov za strojno prevajanje in kako se napake v učni množici preslikajo v končni rezultat.

Ocene Aikwitove ekipe

Oglejmo si, kako smo v Aikwitu ocenili tri prevode na lestvici od 1 do 5. 1 pomeni povsem nerazumljiv prevod, 5 pa pomeni prevod, ki je po kakovosti enak uradnemu prevodu človeškega prevajalca.

Hvala za pozornost in se vidimo v naslednji epizodi!