prikaz prve stranice dokumenta Učenje razdvojenih reprezentacija s primjenama u obradi prirodnog jezika
Rad nije dostupan
diplomski rad
Učenje razdvojenih reprezentacija s primjenama u obradi prirodnog jezika
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2020. urn:nbn:hr:168:834702
Ivanković, Dorian
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Ivanković, D. (2020). Učenje razdvojenih reprezentacija s primjenama u obradi prirodnog jezika (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:834702

Ivanković, Dorian. "Učenje razdvojenih reprezentacija s primjenama u obradi prirodnog jezika." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2020. https://urn.nsk.hr/urn:nbn:hr:168:834702

Ivanković, Dorian. "Učenje razdvojenih reprezentacija s primjenama u obradi prirodnog jezika." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2020. https://urn.nsk.hr/urn:nbn:hr:168:834702

Ivanković, D. (2020). 'Učenje razdvojenih reprezentacija s primjenama u obradi prirodnog jezika', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 27.12.2024., https://urn.nsk.hr/urn:nbn:hr:168:834702

Ivanković D. Učenje razdvojenih reprezentacija s primjenama u obradi prirodnog jezika [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2020 [pristupljeno 27.12.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:834702

D. Ivanković, "Učenje razdvojenih reprezentacija s primjenama u obradi prirodnog jezika", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2020. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:834702

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:834702
Podaci o radu
NaslovUčenje razdvojenih reprezentacija s primjenama u obradi prirodnog jezika
Naslov (engleski)Disentangled Representation Learning with Applications in Natural Language Processing
AutorDorian Ivanković
MentorJan Šnajder (mentor)
Član povjerenstvaJan Šnajder (predsjednik povjerenstva)
Član povjerenstvaMarko Čupić (član povjerenstva)
Član povjerenstvaBojana Dalbelo-Bašić (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2020-07-09, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Računarstvo
Sažetak
Reprezentacije naulene dubokim neuronskim mrežama se teško interpretiraju, što bi moglo onemogućiti njihovo ponovno korištenje na novim zadatcima. Cilj učenja razdvojenih reprezentacija jest naučiti nezavisne informativne značajke, time stvarajući interpretabilnu reprezentaciju. Najistaknutiji pristupi učenju razdvojenih reprezentacija oslanjaju se na varijacijske autoenkodere i modificiranje varijacijske donje granice, fokusirajući se uglavnom na primjene u području računalnog vida. Cilj ovog rada bio je proučiti metode za učenje razdvojenih reprezentacija temeljene na varijacijskim autoenkoderima i proširiti primjenu na područje obrade prirodnog jezika. Za primjenu u području obrade prirodnog jezika odabrano je tematsko modeliranje, gdje bi učenje razdvojenih reprezentacija moralo rezultirati s više koherentnim, nezavisnim i interpretabilnim temama. Rezultati su pokazali da modeli za tematsko modeliranje temeljeni na neuronskim mrežama i varijacijskim autoenkoderima kod kojih je cilj dodatno promijenjen tako da potiče učenje razdvojenih reprezentacija, postižu bolje rezultate u smislu prosječne normalizirane točkaste međusobne informacije (NPMI) po temama, i rezultiraju koherentnijim i interpretabilnijim temama. U radu su također identificirani i razmatrani neki problemi s evaluacijom neuralnih tematskih modela. Naposljetku, pokazano je da prosječna NPMI po temama nije potpuno prikladna mjera za evaluaciju tematskog modeliranja, a uvođenje prikladnije mjere je ostavljeno za budući rad.
Sažetak (engleski)
Representations learned by deep neural networks are hardly interpretable, which might obstruct reusing them for some tasks. The goal of disentangled representation learning is to learn separate informative features, which should create an interpretable representation. Most prominent disentangled representation learning approaches rely on variational autoencoders and modifying the variational lower bound, focusing mostly on the computer vision domain. The goal of this thesis was to study the disentanglement methods based on variational autoencoders and extend the applications to the NLP domain. The task of topic modeling was chosen as an application, where learning disentangled representations should produce more coherent, independent, and interpretable topics. The results have shown that neural topic models whose objective is modified with disentangled variants not only produce better results in terms of the average topic normalized mutual pointwise information (NPMI), but also produce more independent and coherent topics. Some issues with the evaluation of some neural topic models were also identified and addressed. Finally, it has also been shown that the average topic NPMI is not a fully sufficient metric for evaluating topic models, as it does not include all relevant factors, while proposing a new metric that would do so is left for future work.
Ključne riječi
Ključne riječi (engleski)
Jezikengleski
URN:NBNurn:nbn:hr:168:834702
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2023-01-13 12:28:00