prikaz prve stranice dokumenta Analiza metoda za poboljšanje parametarske učinkovitosti neuronskih jezičnih modela
Rad nije dostupan
diplomski rad
Analiza metoda za poboljšanje parametarske učinkovitosti neuronskih jezičnih modela
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. urn:nbn:hr:168:008484
Perić, Mislav
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Perić, M. (2024). Analiza metoda za poboljšanje parametarske učinkovitosti neuronskih jezičnih modela (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:008484

Perić, Mislav. "Analiza metoda za poboljšanje parametarske učinkovitosti neuronskih jezičnih modela." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. https://urn.nsk.hr/urn:nbn:hr:168:008484

Perić, Mislav. "Analiza metoda za poboljšanje parametarske učinkovitosti neuronskih jezičnih modela." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. https://urn.nsk.hr/urn:nbn:hr:168:008484

Perić, M. (2024). 'Analiza metoda za poboljšanje parametarske učinkovitosti neuronskih jezičnih modela', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 26.11.2024., https://urn.nsk.hr/urn:nbn:hr:168:008484

Perić M. Analiza metoda za poboljšanje parametarske učinkovitosti neuronskih jezičnih modela [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2024 [pristupljeno 26.11.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:008484

M. Perić, "Analiza metoda za poboljšanje parametarske učinkovitosti neuronskih jezičnih modela", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2024. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:008484

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:008484
Podaci o radu
NaslovAnaliza metoda za poboljšanje parametarske učinkovitosti neuronskih jezičnih modela
Naslov (engleski)Analysis of methods for improving the parameter efficiency of neural language models
AutorMislav Perić
MentorJan Šnajder (mentor)
Član povjerenstvaJan Šnajder (predsjednik povjerenstva)
Član povjerenstvaMarko Čupić (član povjerenstva)
Član povjerenstvaDomagoj Jakobović (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2024-09-16, Hrvatska
Sažetak
Ovaj rad se bavi analizom metoda za poboljšanje parametarske učinkovitosti neuronskih jezičnih modela u kontekstu transformatorske arhitekture koristeći modele RoBERTa-e i OPT-a. Dana je motivacija i pregled metoda parametarske učinkovitosti (PEFT) te je eksperimentima ispitana njihova uspješnost u režimu s malo podataka. U radu su ispitane metode: LoRA, (IA)3, prilagodba prefiksa i LoReFT. Rezultati pokazuju da metode PEFT-a uglavnom postižu rezultate usporedive s finim podešavanjem, ali podešavajući znatno manji broj parametara modela. Predloženi su smjerovi za buduća istraživanja.
Sažetak (engleski)
This thesis is concerned with the analysis of methods for improving the parameter efficiency of neural language models in the context of the Transformer architecture using RoBERTa and OPT models. The motivation and overview of parameter-efficient fine-tuning (PEFT) methods are provided, and their success is experimentally tested in a low-data regime. The methods examined include LoRA, (IA)3 Prefix tuning, and LoReFT. The results show that PEFT methods generally achieve results comparable to fine-tuning, but with significantly fewer model parameters. Future research directions are proposed.
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:168:008484
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2024-11-07 05:41:53