prikaz prve stranice dokumenta Arhitekture za raspoznavanje slika slojevima pažnje
Rad nije dostupan
završni rad
Arhitekture za raspoznavanje slika slojevima pažnje
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. urn:nbn:hr:168:738470
Gudelj, Darijan
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Gudelj, D. (2023). Arhitekture za raspoznavanje slika slojevima pažnje (Završni rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:738470

Gudelj, Darijan. "Arhitekture za raspoznavanje slika slojevima pažnje." Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. https://urn.nsk.hr/urn:nbn:hr:168:738470

Gudelj, Darijan. "Arhitekture za raspoznavanje slika slojevima pažnje." Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. https://urn.nsk.hr/urn:nbn:hr:168:738470

Gudelj, D. (2023). 'Arhitekture za raspoznavanje slika slojevima pažnje', Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 27.12.2024., https://urn.nsk.hr/urn:nbn:hr:168:738470

Gudelj D. Arhitekture za raspoznavanje slika slojevima pažnje [Završni rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2023 [pristupljeno 27.12.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:738470

D. Gudelj, "Arhitekture za raspoznavanje slika slojevima pažnje", Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2023. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:738470

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:738470
Podaci o radu
NaslovArhitekture za raspoznavanje slika slojevima pažnje
Naslov (engleski)Architectures for Image classification through attention layers
AutorDarijan Gudelj
MentorSiniša Šegvić (mentor)
Član povjerenstvaSiniša Šegvić (predsjednik povjerenstva)
Član povjerenstvaJosip Šarić (član povjerenstva)
Član povjerenstvaIvan Grubišić (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2023-07-06, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Računarstvo
Sažetak
Vizualni transformeri postali su standardna arhitektura za obradu vizualnih podataka. Obilježje transformerske arhitekture je rezidualni tok, koji olakšava optimizaciju modela, no restriktira izradu novih značajki jer ima fiksnu dimanzionalnost kroz cijeli model. Model treba odlučiti zadržati prethodno izračunate značajke ili dodati nove. U ovom radu se proučavaju četiri različite arhitektonske modifikacije vizualnog transformera s ciljem poboljšanja ponovne uporabe značajki i parametarske učinkovitosti. Inspiracija se crpi iz konvolucijskih modela, posebno DenseNet-a, koji je pokazao uspješno rješavanje sličnih problema. Provodimo eksperimente na CIFAR-10 skupu podataka, pri tom pokazujući da je jedna od predloženih varijanti, gusti vizualni transformer, pareto optimalnija od vizualnog transformera.
Sažetak (engleski)
Vision transformers have become a standard architecture for processing visual data. The characteristic of transformer architecture is the residual flow, which facilitates model optimization but restricts the creation of new features due to fixed dimensionality throughout the model. The model needs to decide whether to keep the previously calculated features or add new ones. This paper investigates four different architectural modifications of the visual transformer with the aim of improving feature reuse and parameter efficiency. Inspiration is drawn from convolutional models, particularly DenseNet, which has successfully addressed similar problems. We conduct experiments on the CIFAR-10 dataset, demonstrating that one of the proposed variations, Dense Visual Transformer, is Pareto-optimal compared to the Vision Transformer.
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:168:738470
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: preddiplomski
Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2023-07-13 10:05:43