prikaz prve stranice dokumenta Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora
Rad nije dostupan
diplomski rad
Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. urn:nbn:hr:168:499669
Vidaković, Janko
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Vidaković, J. (2023). Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:499669

Vidaković, Janko. "Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. https://urn.nsk.hr/urn:nbn:hr:168:499669

Vidaković, Janko. "Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. https://urn.nsk.hr/urn:nbn:hr:168:499669

Vidaković, J. (2023). 'Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 04.11.2024., https://urn.nsk.hr/urn:nbn:hr:168:499669

Vidaković J. Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2023 [pristupljeno 04.11.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:499669

J. Vidaković, "Rješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2023. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:499669

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:499669
Podaci o radu
NaslovRješavanje promjena distribucije u klasifikaciji teksta s više oznaka pomoću adaptora
Naslov (engleski)Tackling distribution shifts in multilabel text classification using adapters
AutorJanko Vidaković
MentorJan Šnajder (mentor)
Član povjerenstvaJan Šnajder (predsjednik povjerenstva)
Član povjerenstvaMarko Đurasević (član povjerenstva)
Član povjerenstvaMarko Čupić (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2023-07-11, Hrvatska
Sažetak
Nenadzirana prilagodba domene rješava problem prilagodbe klasifikatora na novu domenu, čija je distribucija značajno pomaknuta u odnosu na domenu u kojoj je klasifikator treniran. Tradicionalni pristup nenadziranoj prilagodbi domene su parametarski neučinkoviti, zahtijevajući cjelokupno treniranje modela, kao i treniranje u više stadija. Nadalje, nenadzirana prilagodba domeni obično se oslanja na minimizaciju derivabilne mjere za divergenciju domena, no odabir odgovarajuće metrike nije jednostavno. U ovom radu, istražujemo parametarski učinkovit pristup nenadziranoj prilagodbi domene. Umjesto minimizacije neke derivabilne metrike za divergenciju domena, koristimo adaptivno predtreniranje kako bismo prilagodili duboki transformator na distribuciju pomaknute domene. Koristimo adaptore uskog grla kako bismo postigli parametarsku učinkovitost. Naš pristup je parametarski učinkovit, no svejedno nadmašuje bazne eksperimente s obzirom na performanse na drugoj domeni. Naši rezultati su također konzistentni s obzirom na različite iznose pomaka distribucija između izvornog i ciljanog skupa podataka. Konačno, isprobali smo dva različita modela, BERT i RoBERTu, te smo na oba postigli slične rezultate. Naši rezultati ističu potencijal adaptivnog predtreniranja kao metode prilagodbe domene, te nudimo smjerove za daljnje istraživanje.
Sažetak (engleski)
Unsupervised domain adaptation solves the problem of adapting a classifier to a novel domain with a significant distribution shift relative to the domain of classifier training. Traditional approaches to unsupervised domain approaches are parameter-inefficient, requiring full model training and multiple training stages. Furthermore, unsupervised domain adaptation relies on the minimization of a differentiable measure for domain divergence, but choosing the most fitting metric is highly non-trivial. In this work, we explore a parameter-efficient approach to unsupervised domain adaptation. Instead of minimizing the value of some differentiable metric, we use adaptive pretraining to adapt a deep transformer-based classifier to the distribution of a shifted domain. We leverage bottleneck adapters for parameter efficiency. Our approach is parameter-efficient, while outperforming strong baselines in terms of cross-domain performance. Our results also show consistency with respect to the amount of distribution shift between the source and the target dataset. Finally, we experiment with different models, and confirm our results on both BERT and RoBERTa. Our results highlight the potential of using adaptive pretraining as a method of domain adaptation, and we also offer directions for future research.
Ključne riječi
Ključne riječi (engleski)
Jezikengleski
URN:NBNurn:nbn:hr:168:499669
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2023-10-11 10:53:46