prikaz prve stranice dokumenta Korištenje regija pozornosti u dubokim neuronskim mrežama
Rad nije dostupan
diplomski rad
Korištenje regija pozornosti u dubokim neuronskim mrežama
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2019. urn:nbn:hr:168:811665
Oštrek, Mirela
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Oštrek, M. (2019). Korištenje regija pozornosti u dubokim neuronskim mrežama (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:811665

Oštrek, Mirela. "Korištenje regija pozornosti u dubokim neuronskim mrežama." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2019. https://urn.nsk.hr/urn:nbn:hr:168:811665

Oštrek, Mirela. "Korištenje regija pozornosti u dubokim neuronskim mrežama." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2019. https://urn.nsk.hr/urn:nbn:hr:168:811665

Oštrek, M. (2019). 'Korištenje regija pozornosti u dubokim neuronskim mrežama', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 04.11.2024., https://urn.nsk.hr/urn:nbn:hr:168:811665

Oštrek M. Korištenje regija pozornosti u dubokim neuronskim mrežama [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2019 [pristupljeno 04.11.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:811665

M. Oštrek, "Korištenje regija pozornosti u dubokim neuronskim mrežama", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2019. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:811665

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:811665
Podaci o radu
NaslovKorištenje regija pozornosti u dubokim neuronskim mrežama
Naslov (engleski)Use of Attention Maps for Deep Neural Networks
AutorMirela Oštrek
MentorSven Lončarić (mentor)
Član povjerenstvaSven Lončarić (predsjednik povjerenstva)
Član povjerenstvaMarko Subašić (član povjerenstva)
Član povjerenstvaTomislav Petković (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2019-02-25, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Računarstvo
Sažetak
Jedna od glavnih značajki današnjeg doba su velike količine nestrukturiranih podataka koji su raspoloživi za korištenje, ali ne mogu se u potpunosti iskoristiti radi ograničavajućih faktora u procesima označavanja podataka. U isto vrijeme u kontekstu dubokog učenja, pokazalo se kako korištenje većih količina podataka za treniranje modela daje bolje rezultate u smislu preciznosti, uz pretpostavku da se koristi model koji ima zadovoljavajući kapacitet. Ne bi li premostili prepreku nedostatka označenih podataka tako da mogu iskoristi što više dostupnih podataka, znanstvenici se danas ponovo vraćaju klasičnim metodama računalnog vida i kombiniraju ih s principima dubokog učenja te na taj način omogućuju neuronskim mrežama da uče tek uz manju pomoć nadziranog faktora. Ovo se protivi principima potpuno nadziranog učenja gdje model treba eksplicitno naučiti funkciju koja preslikava parove ˇ (ulaz, izlaz). Ovaj rad je demonstracija kako je korištenjem anotacija za klasifikaciju slika moguce izvršiti i semanticku segmentaciju te, implicitno i lokalizaciju objekata na slici. U ovu svrhu, razvijena je nova metoda za vizualizaciju regija pozornosti u neuronskim mrežama treniranih s regijama pozornosti koja ne uzima u obzir samo regiju pozornosti posljednjeg sloja neuronske mreže, vec i regije pozornosti svih ostalih (unutrašnjih) slojeva. Prvi rezultati ukazuju kako je kombiniranjem regija pozornosti iz unutrašnjih slojeva neuronske mreže moguće dobiti regiju pozornosti veće rezolucije nego u prethodnim metodama. Rezultati su također usporedivi s trenutno vodećim metodama u slabo nadziranoj semantičkoj segmentaciji slika, čak i bez eliminacije šuma.
Sažetak (engleski)
Today's era is marked by large amounts of unstructured data that is readily available, but cannot be fully utilized due to the bottlenecks in the annotation processes. Coincidentally, so far in the context of deep learning, it has been shown that the more data is used for training, the higher accuracy can be achieved, assuming that a reasonably complex model is used. To mitigate the annotation gap and make use of as much of (unannotated or weakly-annotated) data for training as possible, scientists today are reverting back to classical computer vision approaches and embedding their findings into deep learning models which are then capable of making sense of data with some help, as opposed to the fully-supervised approaches where the model is constrained to learn a mapping function given the predefined (input, output) pairs. This thesis demonstrates how image-level labels that are used for image classification can serve as weak annotations for semantic segmentation and, implicitly, object localization. For this purpose, a novel attention visualization technique for guided attention inference networks that considers the network’s inner-layer attention rather than only the penultimate convolutional layer’s attention is developed. Preliminary proof of the concept results show that combined inner-layer attention maps have higher resolution (i.e. object boundaries appear sharper in the image) than in the previous approaches and are comparable to state-of-the-art in weakly-supervised semantic segmentation even without addressing the noise issue.
Ključne riječi
Ključne riječi (engleski)
Jezikengleski
URN:NBNurn:nbn:hr:168:811665
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2019-03-13 23:34:23