prikaz prve stranice dokumenta Semantička segmentacija primjenom jezičnih ugrađivanja
No public access
undergraduate thesis
Semantička segmentacija primjenom jezičnih ugrađivanja
Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. urn:nbn:hr:168:585072
Kombol, Naomi
University of Zagreb
Faculty of Electrical Engineering and Computing

Institutional repository: FER Repository

Cite this document

Kombol, N. (2023). Semantička segmentacija primjenom jezičnih ugrađivanja (Undergraduate thesis). Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing. Retrieved from https://urn.nsk.hr/urn:nbn:hr:168:585072

Kombol, Naomi. "Semantička segmentacija primjenom jezičnih ugrađivanja." Undergraduate thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. https://urn.nsk.hr/urn:nbn:hr:168:585072

Kombol, Naomi. "Semantička segmentacija primjenom jezičnih ugrađivanja." Undergraduate thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. https://urn.nsk.hr/urn:nbn:hr:168:585072

Kombol, N. (2023). 'Semantička segmentacija primjenom jezičnih ugrađivanja', Undergraduate thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, accessed 23 July 2024, https://urn.nsk.hr/urn:nbn:hr:168:585072

Kombol N. Semantička segmentacija primjenom jezičnih ugrađivanja [Undergraduate thesis]. Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing; 2023 [cited 2024 July 23] Available at: https://urn.nsk.hr/urn:nbn:hr:168:585072

N. Kombol, "Semantička segmentacija primjenom jezičnih ugrađivanja", Undergraduate thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, Zagreb, 2023. Available at: https://urn.nsk.hr/urn:nbn:hr:168:585072

Metadata
TitleSemantička segmentacija primjenom jezičnih ugrađivanja
Title (english)Semantic segmentation by means of language embeddings
AuthorNaomi Kombol
MentorSiniša Šegvić (mentor)
Committee memberSiniša Šegvić (predsjednik povjerenstva)
Committee memberJosip Šarić (član povjerenstva)
Committee memberIvan Grubišić (član povjerenstva)
GranterUniversity of Zagreb
Faculty of Electrical Engineering and Computing
Zagreb
Defense date and country2023-07-06, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Computing
Abstract
Računalni vid ima široku primjenu u stvarnom svijetu. Semantička segmentacija jedan je od njegovih temeljnih, ali i najzanimljivijih, zadataka. Ovaj rad predstavlja CLIP multimodalni sustav za ugrađivanje slika i teksta u isti vektorski prostor te ga iskorištava za generiranje jezičnih ugrađivanja koja se dalje koriste za semantičku segmentaciju. U tu svrhu prenamjenjuje se, modificira i nadograđuje naduzorkovateljem predtrenirani ConvNext-Base vizualni koder CLIP modela koji zatim individualne piksele kodira u isti vektorski prostor kao i CLIP model te, na temelju sličnosti tih kodiranja, ih klasificira. Korišten je CamVid skup podataka. Postupak izgradnje, rezultati i evaluacija pažljivo su i precizno opisani u radu. Dodatno su opisanu dijelovi i postupci treniranja dubokih modela, semantička segmentacija te korištene tehnologije i metrike.
Abstract (english)
Computer vision has found many applications in the real world. Semantic segmentation is one of its most basic components, but arguably one of the most interesting too. This paper presents the multimodal CLIP model for embedding images and text into the same vector space and uses it to generate language embeddings to further use in semantic segmentation. To that purpose, its ConvNext-Base visual tower is repurposed, modified and upgraded with an upsampling module so that it may embed individual pixels into the aforementioned space and exploit that for classification. All of this is done on the CamVid data set. The process of building such a model, evaluating it and the results are described with precision and detail. Additionally described are: deep neural network training, semantic segmentation and the used technologies and metrics.
Keywords
Keywords (english)
Languagecroatian
URN:NBNurn:nbn:hr:168:585072
Study programmeTitle: Computing
Study programme type: university
Study level: undergraduate
Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsClosed access
Terms of useLicence In copyright icon
Public note
Created on2023-07-13 10:12:07