prikaz prve stranice dokumenta Poravnavanje višejezičnih reprezentacija radi postizanja boljih rezultata na međujezičnom zaključivanju
No public access
master's thesis
Poravnavanje višejezičnih reprezentacija radi postizanja boljih rezultata na međujezičnom zaključivanju
Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. urn:nbn:hr:168:684681
Rajnović, Marko
University of Zagreb
Faculty of Electrical Engineering and Computing

Institutional repository: FER Repository

Cite this document

Rajnović, M. (2023). Poravnavanje višejezičnih reprezentacija radi postizanja boljih rezultata na međujezičnom zaključivanju (Master's thesis). Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing. Retrieved from https://urn.nsk.hr/urn:nbn:hr:168:684681

Rajnović, Marko. "Poravnavanje višejezičnih reprezentacija radi postizanja boljih rezultata na međujezičnom zaključivanju." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. https://urn.nsk.hr/urn:nbn:hr:168:684681

Rajnović, Marko. "Poravnavanje višejezičnih reprezentacija radi postizanja boljih rezultata na međujezičnom zaključivanju." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. https://urn.nsk.hr/urn:nbn:hr:168:684681

Rajnović, M. (2023). 'Poravnavanje višejezičnih reprezentacija radi postizanja boljih rezultata na međujezičnom zaključivanju', Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, accessed 02 June 2024, https://urn.nsk.hr/urn:nbn:hr:168:684681

Rajnović M. Poravnavanje višejezičnih reprezentacija radi postizanja boljih rezultata na međujezičnom zaključivanju [Master's thesis]. Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing; 2023 [cited 2024 June 02] Available at: https://urn.nsk.hr/urn:nbn:hr:168:684681

M. Rajnović, "Poravnavanje višejezičnih reprezentacija radi postizanja boljih rezultata na međujezičnom zaključivanju", Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, Zagreb, 2023. Available at: https://urn.nsk.hr/urn:nbn:hr:168:684681

Metadata
TitlePoravnavanje višejezičnih reprezentacija radi postizanja boljih rezultata na međujezičnom zaključivanju
Title (english)Aligning multilingual embeddings to achieve better cross-lingual performance
AuthorMarko Rajnović
MentorJan Šnajder (mentor)
Committee memberJan Šnajder (predsjednik povjerenstva)
Committee memberMarko Đurasević (član povjerenstva)
Committee memberMarko Čupić (član povjerenstva)
GranterUniversity of Zagreb
Faculty of Electrical Engineering and Computing
Zagreb
Defense date and country2023-07-11, Croatia
Abstract
Višejezično poravnavanje predstavlja jezične vektore više jezika u istom jezičnom prostoru, na način da su semantički slični vektori različitih jezika blizu u vektorskom prostoru. Naš zadatak je bio istražiti ima li poravnavanje utjecaja na performanse modela na naknadnim zadacima te poravnavaju li modeli jezike ako se treniraju u paradigmi "prevedi pa treniraj". Nakon toga treniramo poravnavanje na podacima koji su unutar domene zadataka da pobjedimo osnovne modele. Vizualiziramo skrivene slojeve reprezentacija različitih modela i uspoređujemo ih. Naš zaključak je da paradigma "prevedi pa treniraj" ne poravnava implicitno višejezični vektorski prostor, ali eksplicitno poravnavanje može poboljšati višejezične performanse ako se koriste podaci unutar domene zadatka.
Abstract (english)
Multilingual alignment represents language encodings of multiple languages in the same language space, such that semantically similar encodings across languages are close in the embedding space. We explore whether alignment impacts downstream model performance and whether models implicitly align if the translate-train learning mode is used. Then we train alignment on in-domain parallel data to beat baselines. We visualize the hidden layer representations of various models and compare them. We conclude that translate-train models do not implicitly align embedding spaces, but explicit alignment can improve multilingual performance if done on in-domain data.
Keywords
Keywords (english)
Languageenglish
URN:NBNurn:nbn:hr:168:684681
Study programmeTitle: Computing
Study programme type: university
Study level: graduate
Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsClosed access
Terms of useLicence In copyright icon
Public note
Created on2023-10-11 10:19:06