prikaz prve stranice dokumenta Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora
No public access
master's thesis
Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora
Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. urn:nbn:hr:168:499669
Vidaković, Janko
University of Zagreb
Faculty of Electrical Engineering and Computing

Institutional repository: FER Repository

Cite this document

Vidaković, J. (2023). Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora (Master's thesis). Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing. Retrieved from https://urn.nsk.hr/urn:nbn:hr:168:499669

Vidaković, Janko. "Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. https://urn.nsk.hr/urn:nbn:hr:168:499669

Vidaković, Janko. "Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. https://urn.nsk.hr/urn:nbn:hr:168:499669

Vidaković, J. (2023). 'Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora', Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, accessed 04 November 2024, https://urn.nsk.hr/urn:nbn:hr:168:499669

Vidaković J. Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora [Master's thesis]. Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing; 2023 [cited 2024 November 04] Available at: https://urn.nsk.hr/urn:nbn:hr:168:499669

J. Vidaković, "Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora", Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, Zagreb, 2023. Available at: https://urn.nsk.hr/urn:nbn:hr:168:499669

Metadata
TitleRješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora
Title (english)Tackling distribution shifts in multilabel text classification using adapters
AuthorJanko Vidaković
MentorJan Šnajder (mentor)
Committee memberJan Šnajder (predsjednik povjerenstva)
Committee memberMarko Đurasević (član povjerenstva)
Committee memberMarko Čupić (član povjerenstva)
GranterUniversity of Zagreb
Faculty of Electrical Engineering and Computing
Zagreb
Defense date and country2023-07-11, Croatia
Abstract
Nenadzirana prilagodba domene rješava problem prilagodbe klasifikatora na novu domenu, čija je distribucija značajno pomaknuta u odnosu na domenu u kojoj je klasifikator treniran. Tradicionalni pristup nenadziranoj prilagodbi domene su parametarski neučinkoviti, zahtijevajući cjelokupno treniranje modela, kao i treniranje u više stadija. Nadalje, nenadzirana prilagodba domeni obično se oslanja na minimizaciju derivabilne mjere za divergenciju domena, no odabir odgovarajuće metrike nije jednostavno. U ovom radu, istražujemo parametarski učinkovit pristup nenadziranoj prilagodbi domene. Umjesto minimizacije neke derivabilne metrike za divergenciju domena, koristimo adaptivno predtreniranje kako bismo prilagodili duboki transformator na distribuciju pomaknute domene. Koristimo adaptore uskog grla kako bismo postigli parametarsku učinkovitost. Naš pristup je parametarski učinkovit, no svejedno nadmašuje bazne eksperimente s obzirom na performanse na drugoj domeni. Naši rezultati su također konzistentni s obzirom na različite iznose pomaka distribucija između izvornog i ciljanog skupa podataka. Konačno, isprobali smo dva različita modela, BERT i RoBERTu, te smo na oba postigli slične rezultate. Naši rezultati ističu potencijal adaptivnog predtreniranja kao metode prilagodbe domene, te nudimo smjerove za daljnje istraživanje.
Abstract (english)
Unsupervised domain adaptation solves the problem of adapting a classifier to a novel domain with a significant distribution shift relative to the domain of classifier training. Traditional approaches to unsupervised domain approaches are parameter-inefficient, requiring full model training and multiple training stages. Furthermore, unsupervised domain adaptation relies on the minimization of a differentiable measure for domain divergence, but choosing the most fitting metric is highly non-trivial. In this work, we explore a parameter-efficient approach to unsupervised domain adaptation. Instead of minimizing the value of some differentiable metric, we use adaptive pretraining to adapt a deep transformer-based classifier to the distribution of a shifted domain. We leverage bottleneck adapters for parameter efficiency. Our approach is parameter-efficient, while outperforming strong baselines in terms of cross-domain performance. Our results also show consistency with respect to the amount of distribution shift between the source and the target dataset. Finally, we experiment with different models, and confirm our results on both BERT and RoBERTa. Our results highlight the potential of using adaptive pretraining as a method of domain adaptation, and we also offer directions for future research.
Keywords
Keywords (english)
Languageenglish
URN:NBNurn:nbn:hr:168:499669
Study programmeTitle: Computing
Study programme type: university
Study level: graduate
Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsClosed access
Terms of useLicence In copyright icon
Public note
Created on2023-10-11 10:53:46