prikaz prve stranice dokumenta Poopćivost tumačivih neuronskih modela obrade prirodnoga jezika
Rad nije dostupan
završni rad
Poopćivost tumačivih neuronskih modela obrade prirodnoga jezika
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2020. urn:nbn:hr:168:621197
Matošević, Patrik
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Matošević, P. (2020). Poopćivost tumačivih neuronskih modela obrade prirodnoga jezika (Završni rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:621197

Matošević, Patrik. "Poopćivost tumačivih neuronskih modela obrade prirodnoga jezika." Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2020. https://urn.nsk.hr/urn:nbn:hr:168:621197

Matošević, Patrik. "Poopćivost tumačivih neuronskih modela obrade prirodnoga jezika." Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2020. https://urn.nsk.hr/urn:nbn:hr:168:621197

Matošević, P. (2020). 'Poopćivost tumačivih neuronskih modela obrade prirodnoga jezika', Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 26.11.2024., https://urn.nsk.hr/urn:nbn:hr:168:621197

Matošević P. Poopćivost tumačivih neuronskih modela obrade prirodnoga jezika [Završni rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2020 [pristupljeno 26.11.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:621197

P. Matošević, "Poopćivost tumačivih neuronskih modela obrade prirodnoga jezika", Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2020. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:621197

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:621197
Podaci o radu
NaslovPoopćivost tumačivih neuronskih modela obrade prirodnoga jezika
Naslov (engleski)Generalizability of Interpretable Neural Models for Natural Language Processing
AutorPatrik Matošević
MentorJan Šnajder (mentor)
Član povjerenstvaJan Šnajder (predsjednik povjerenstva)
Član povjerenstvaDomagoj Alagić (član povjerenstva)
Član povjerenstvaMartin Tutek (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2020-07-06, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Računarstvo
Sažetak
Duboki neuronski modeli korišteni u zadacima obrade prirodnog jezika s vremenom su postali sve složeniji. To je dovelo do problema nemogućnosti tumačenja načina rada tih modela, a uvođenjem mehanizma pozornosti ovaj je problem djelomično riješen. Mehanizam pozornosti mehanizam je odabira skrivenih stanja iz povratnih neuronskih mreža koji su važni za zadatak, a također često poboljšava generalizaciju modela. Zadatak ovog rada bio je testirati poboljšavaju li se generalizacijske performanse modela korištenje označenih obrazloženja u podacima. Razmatrana su tri modela: dva jednostavna bez mehanizma pažnje i jedan s mehanizmom pažnje. Modeli su trenirani na tri skupa podataka s referentnog skupa ERASER i njihova je izvedba analizirana pojedinačno na temelju toga jesu li se koristili podaci o obrazloženjima ili ne. Rezultati su pokazali da se podaci o obrazloženjima ne mogu koristiti da bi se poboljšali rezultati jednostavnijih modela baziranim na povratnim mrežama na načine koje smo uzeli u obzir. Međutim, uvođenjem mehanizma pažnje, podatke o obrazloženjima je moguće jednostavno i na prirodan način dodati u proces treniranja te je to poboljšalo performanse modela, ako je model bio prikladan za zadatak.
Sažetak (engleski)
Deep neural models used in natural language processing tasks have become more complex over time. This led to a problem of the impossibility of interpreting the inner workings of the model, but this problem was partly solved after the introduction of the attention mechanism. The attention mechanism is a mechanism for selecting outputs from recurrent neural networks that are important for the task, and they often improve generalizability of the model. This thesis investigates whether incorporating information about human-annotated rationales improves the generalizability of the model. Three models are considered: two simple ones without attention mechanism, and one with the attention mechanism. Models were trained on three datasets from the ERASER benchmark and their performance was analyzed individually based on whether the rationale information was used or not. Results show that the rationale information cannot be used to improve the basic RNN models in the ways we considered. However, after adding the attention mechanism, the rationale information can be easily and naturally incorporated in the training process and, if the model is well suited for the task, this can improve the performance.
Ključne riječi
Ključne riječi (engleski)
Jezikengleski
URN:NBNurn:nbn:hr:168:621197
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: preddiplomski
Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2023-01-14 09:30:24