prikaz prve stranice dokumenta Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka
No public access
master's thesis
Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka
Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing, 2019. urn:nbn:hr:168:270967
Radman, Tome
University of Zagreb
Faculty of Electrical Engineering and Computing

Institutional repository: FER Repository

Cite this document

Radman, T. (2019). Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka (Master's thesis). Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing. Retrieved from https://urn.nsk.hr/urn:nbn:hr:168:270967

Radman, Tome. "Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2019. https://urn.nsk.hr/urn:nbn:hr:168:270967

Radman, Tome. "Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2019. https://urn.nsk.hr/urn:nbn:hr:168:270967

Radman, T. (2019). 'Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka', Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, accessed 14 January 2025, https://urn.nsk.hr/urn:nbn:hr:168:270967

Radman T. Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka [Master's thesis]. Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing; 2019 [cited 2025 January 14] Available at: https://urn.nsk.hr/urn:nbn:hr:168:270967

T. Radman, "Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka", Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, Zagreb, 2019. Available at: https://urn.nsk.hr/urn:nbn:hr:168:270967

Metadata
TitlePrijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka
Title (english)Resource-Scarce Transfer Learning Using Language Model Pretraining
AuthorTome Radman
MentorJan Šnajder (mentor)
Committee memberJan Šnajder (predsjednik povjerenstva)
Committee memberBojana Dalbelo-Bašić (član povjerenstva)
Committee memberAnte Đerek (član povjerenstva)
GranterUniversity of Zagreb
Faculty of Electrical Engineering and Computing
Zagreb
Defense date and country2019-07-11, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Computing
Abstract
Prijenosno učenje je tehnika primjene znanja stečenog na nekom problemu strojnog učenja pri učenju novih, sličnih problema. U obradi prirodnog jezika, prijenosnom učenju se pretežito pristupalo predtreniranjem vektorskih reprezentacija riječi. Iako su se tehnike generiranja fiksnih vektorskih reprezentacija prethodno pokazale uspješnima, novije metode učenja kontekstualnih reprezentacija riječi korištenjem jezičnih modela značajno su proširile mogućnosti prenošenja znanja na mnoge zadatke razumijevanja jezika. Prijenosno učenje je osobito važno u problemima s ograničenom količinom podataka. Razmotren je pristup poboljšanja predtreniranih jezičnih modela pri ograničenim količinama podataka u kojem se provodi dodatno, posredno treniranje između predtreniranja jezičnog modela i finog podešavanja na ciljnom zadatku. Kroz eksperimente je pokazano da ovakva vrsta predtreniranja može značajno pospiješiti spomenute modele uz uvjet da postoji dovoljno preklapanja između posrednog i ciljnog zadatka.
Abstract (english)
Transfer learning is a technique of applying knowledge gained in a certain machine learning setting in a new, similar setting. In natural language processing, transfer learning was most commonly approached by pretraining word vector representations. While techniques for generating fixed word embeddings were successful in the past, recent methods of learning contextualized word representations using language models greatly extended the capabilities of transferring knowledge to a wide range of language understanding tasks. Transfer learning is especially important in resource-scarce settings. An approach of improving pretrained language models in low-resource scenarios by adding an intermediate learning phase between language model pretraining and target task fine-tuning is explored. It is shown through experiments that the mentioned models can significantly benefit from this kind of pretraining, but only if there is enough overlap between the intermediate and the target task.
Keywords
Keywords (english)
Languageenglish
URN:NBNurn:nbn:hr:168:270967
Study programmeTitle: Computing
Study programme type: university
Study level: graduate
Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsClosed access
Terms of useLicence In copyright icon
Public note
Created on2020-01-07 21:43:57