prikaz prve stranice dokumenta Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka
Rad nije dostupan
diplomski rad
Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2019. urn:nbn:hr:168:270967
Radman, Tome
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Radman, T. (2019). Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:270967

Radman, Tome. "Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2019. https://urn.nsk.hr/urn:nbn:hr:168:270967

Radman, Tome. "Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2019. https://urn.nsk.hr/urn:nbn:hr:168:270967

Radman, T. (2019). 'Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 26.11.2024., https://urn.nsk.hr/urn:nbn:hr:168:270967

Radman T. Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2019 [pristupljeno 26.11.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:270967

T. Radman, "Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2019. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:270967

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:270967
Podaci o radu
NaslovPrijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka
Naslov (engleski)Resource-Scarce Transfer Learning Using Language Model Pretraining
AutorTome Radman
MentorJan Šnajder (mentor)
Član povjerenstvaJan Šnajder (predsjednik povjerenstva)
Član povjerenstvaBojana Dalbelo-Bašić (član povjerenstva)
Član povjerenstvaAnte Đerek (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2019-07-11, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Računarstvo
Sažetak
Prijenosno učenje je tehnika primjene znanja stečenog na nekom problemu strojnog učenja pri učenju novih, sličnih problema. U obradi prirodnog jezika, prijenosnom učenju se pretežito pristupalo predtreniranjem vektorskih reprezentacija riječi. Iako su se tehnike generiranja fiksnih vektorskih reprezentacija prethodno pokazale uspješnima, novije metode učenja kontekstualnih reprezentacija riječi korištenjem jezičnih modela značajno su proširile mogućnosti prenošenja znanja na mnoge zadatke razumijevanja jezika. Prijenosno učenje je osobito važno u problemima s ograničenom količinom podataka. Razmotren je pristup poboljšanja predtreniranih jezičnih modela pri ograničenim količinama podataka u kojem se provodi dodatno, posredno treniranje između predtreniranja jezičnog modela i finog podešavanja na ciljnom zadatku. Kroz eksperimente je pokazano da ovakva vrsta predtreniranja može značajno pospiješiti spomenute modele uz uvjet da postoji dovoljno preklapanja između posrednog i ciljnog zadatka.
Sažetak (engleski)
Transfer learning is a technique of applying knowledge gained in a certain machine learning setting in a new, similar setting. In natural language processing, transfer learning was most commonly approached by pretraining word vector representations. While techniques for generating fixed word embeddings were successful in the past, recent methods of learning contextualized word representations using language models greatly extended the capabilities of transferring knowledge to a wide range of language understanding tasks. Transfer learning is especially important in resource-scarce settings. An approach of improving pretrained language models in low-resource scenarios by adding an intermediate learning phase between language model pretraining and target task fine-tuning is explored. It is shown through experiments that the mentioned models can significantly benefit from this kind of pretraining, but only if there is enough overlap between the intermediate and the target task.
Ključne riječi
Ključne riječi (engleski)
Jezikengleski
URN:NBNurn:nbn:hr:168:270967
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2020-01-07 21:43:57