prikaz prve stranice dokumenta Testing ChatGPT’s Capabilities as an English-Croatian Machine Translation System in a Real-World Setting: eTranslation versus ChatGPT at the European Central Bank
  Preuzmi
PDF 848.19 KB
diplomski rad
Testing ChatGPT’s Capabilities as an English-Croatian Machine Translation System in a Real-World Setting: eTranslation versus ChatGPT at the European Central Bank
Zagreb: Sveučilište u Zagrebu, Filozofski fakultet, 2024. urn:nbn:hr:131:477427
Jozić, Krešimir
Sveučilište u Zagrebu
Filozofski fakultet
Odsjek za anglistiku

Institucijski repozitorij: ODRAZ

Citirajte ovaj rad

Jozić, K. (2024). Testing ChatGPT’s Capabilities as an English-Croatian Machine Translation System in a Real-World Setting: eTranslation versus ChatGPT at the European Central Bank (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Filozofski fakultet. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:131:477427

Jozić, Krešimir. "Testing ChatGPT’s Capabilities as an English-Croatian Machine Translation System in a Real-World Setting: eTranslation versus ChatGPT at the European Central Bank." Diplomski rad, Sveučilište u Zagrebu, Filozofski fakultet, 2024. https://urn.nsk.hr/urn:nbn:hr:131:477427

Jozić, Krešimir. "Testing ChatGPT’s Capabilities as an English-Croatian Machine Translation System in a Real-World Setting: eTranslation versus ChatGPT at the European Central Bank." Diplomski rad, Sveučilište u Zagrebu, Filozofski fakultet, 2024. https://urn.nsk.hr/urn:nbn:hr:131:477427

Jozić, K. (2024). 'Testing ChatGPT’s Capabilities as an English-Croatian Machine Translation System in a Real-World Setting: eTranslation versus ChatGPT at the European Central Bank', Diplomski rad, Sveučilište u Zagrebu, Filozofski fakultet, citirano: 28.11.2024., https://urn.nsk.hr/urn:nbn:hr:131:477427

Jozić K. Testing ChatGPT’s Capabilities as an English-Croatian Machine Translation System in a Real-World Setting: eTranslation versus ChatGPT at the European Central Bank [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Filozofski fakultet; 2024 [pristupljeno 28.11.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:131:477427

K. Jozić, "Testing ChatGPT’s Capabilities as an English-Croatian Machine Translation System in a Real-World Setting: eTranslation versus ChatGPT at the European Central Bank", Diplomski rad, Sveučilište u Zagrebu, Filozofski fakultet, Zagreb, 2024. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:131:477427

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:131:477427
Podaci o radu
NaslovTesting ChatGPT’s Capabilities as an English-Croatian Machine Translation System in a Real-World Setting: eTranslation versus ChatGPT at the European Central Bank
Naslov (hrvatski)Testiranje mogućnosti jezičnog modela ChatGPT kao sustava za strojno prevođenje s engleskog na hrvatski u stvarnom okružju: eTranslation i ChatGPT u Europskoj središnjoj banci
AutorKrešimir Jozić
MentorNataša Pavlović (mentor)
Član povjerenstvaKristijan Nikolić (član povjerenstva)
Član povjerenstvaMateusz-Milan Stanojević (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Filozofski fakultet
(Odsjek za anglistiku)
Zagreb
Datum i država obrane2024-04-24, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		HUMANISTIČKE ZNANOSTI
Filologija
Anglistika
Sažetak
Ever since the 1950s, researchers have continuously strived to improve machine translation systems, developing new, more successful approaches to the machine translation problem. The newest innovation in the field of natural language processing are transformer-based large language models, which can perform various language tasks, including machine translation. This study explores the performance of the large language model ChatGPT-3.5 as an English-Croatian machine translation system in a real-world professional setting. An excerpt from a document of the European Central Bank was translated with ChatGPT and with eTranslation, the more conventional neural machine translation system used by ECB translators. Two translators with experience in working at the ECB’s Croatian translation unit were then asked to evaluate the quality of both translations. An automatic evaluation using six different metrics and an error analysis using the MQM error typology were also performed. All this was done to determine if ChatGPT would be more useful than eTranslation for the ECB’s Croatian translation unit, and if ChatGPT better deals with problems that more conventional neural translation systems struggle with, specifically context-related issues. The findings suggest that ChatGPT would presently not be as useful as eTranslation for English-Croatian machine translation at the European Central Bank and that ChatGPT does not fare significantly better than eTranslation when it comes to context-related issues. Future research could further explore this topic, as the use of ChatGPT for English-Croatian machine translation remains underexplored.
Sažetak (hrvatski)
Još od 1950-ih godina znanstvenici neprestano teže unaprjeđenju sustava za strojno prevođenje smišljajući nove, uspješnije pristupe problemu strojnog prevođenja. Najnovija inovacija na području obrade prirodnog jezika veliki su jezični modeli koji se temelje na transformerima. Sustavi su to koji mogu obavljati različite jezične zadaće, uključujući strojno prevođenje. U ovoj studiji istražuje se koliko je veliki jezični model ChatGPT-3.5 uspješan kao sustav za strojno prevođenje s engleskog na hrvatski u stvarnom profesionalnom okružju. Odlomak iz dokumenta Europske središnje banke preveden je sustavom ChatGPT i sustavom eTranslation, konvencionalnijim neuronskim strojnim prevoditeljem koji se upotrebljava u Europskoj središnjoj banci. Zatim su prevoditelji s iskustvom rada u hrvatskoj prevoditeljskoj jedinici ESB-a procijenili kvalitetu obaju prijevoda. Provedena je i automatska procjena s pomoću šest različitih metrika te analiza pogrešaka prema sustavu MQM. Sve je to učinjeno kako bi se utvrdilo bi li ChatGPT hrvatskim prevoditeljima u ESB-u bio korisniji od sustava eTranslation te rješava li ChatGPT uspješno probleme koje raniji sustavi nisu mogli riješiti, točnije probleme povezane s kontekstom. Rezultati istraživanja upućuju na to da ChatGPT hrvatskim prevoditeljima u ESB-u trenutačno ne bi bio korisniji od sustava eTranslation i na to da ChatGPT nije znatno uspješniji u rješavanju problema povezanih s kontekstom. S obzirom na to da je upotreba modela ChatGPT za strojno prevođenje s engleskog na hrvatski i dalje velikim dijelom neistražena, buduća istraživanja mogla bi dodatno istražiti tu temu.
Ključne riječi
Ključne riječi (hrvatski)
Jezikengleski
URN:NBNurn:nbn:hr:131:477427
Studijski programNaziv: Anglistika (dvopredmetni); smjerovi: lingvistički, književno-kulturološki, prevoditeljski, nastavnički
Smjer: prevoditeljski
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra engleskog jezika i književnosti (mag. philol. ang.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaOtvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Datum i vrijeme pohrane2024-04-29 17:15:02