prikaz prve stranice dokumenta Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta
No public access
master's thesis
Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta
Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. urn:nbn:hr:168:533614
Pavlović, Luka
University of Zagreb
Faculty of Electrical Engineering and Computing

Institutional repository: FER Repository

Cite this document

Pavlović, L. (2023). Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta (Master's thesis). Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing. Retrieved from https://urn.nsk.hr/urn:nbn:hr:168:533614

Pavlović, Luka. "Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. https://urn.nsk.hr/urn:nbn:hr:168:533614

Pavlović, Luka. "Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. https://urn.nsk.hr/urn:nbn:hr:168:533614

Pavlović, L. (2023). 'Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta', Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, accessed 02 June 2024, https://urn.nsk.hr/urn:nbn:hr:168:533614

Pavlović L. Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta [Master's thesis]. Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing; 2023 [cited 2024 June 02] Available at: https://urn.nsk.hr/urn:nbn:hr:168:533614

L. Pavlović, "Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta", Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, Zagreb, 2023. Available at: https://urn.nsk.hr/urn:nbn:hr:168:533614

Metadata
TitleIskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta
Title (english)Exploiting latent knowledge of language models to improve performance on document understanding tasks
AuthorLuka Pavlović
MentorJan Šnajder (mentor)
Committee memberJan Šnajder (predsjednik povjerenstva)
Committee memberMarko Đurasević (član povjerenstva)
Committee memberMarko Čupić (član povjerenstva)
GranterUniversity of Zagreb
Faculty of Electrical Engineering and Computing
Zagreb
Defense date and country2023-07-10, Croatia
Abstract
Ovaj diplomski rad istražuje iskorištavanje latentnog znanja iz predtreniranih velikih jezičnih modela za poboljšanje performansi u tri scenarija: prepoznavanje imenovanih entiteta (engl. Named Entity Recognition, NER) s ograničenim resursima, NER treniran korištenjem skupa podataka na drugom jeziku i ekstrakcija informacija u strukturiranoj formi. NER zadatak je preoblikovan u zadatak odgovaranja na pitanja (engl. Question Answering) i riješen korištenjem FLAN-T5 modela. Rezultati su pokazali da je početno uključivanje primjera za učenje poboljšalo rezultate u eksperimentima bez treniranja modela koristeći podatke iz ciljnog skupa, ali daljnja povećanja donijela su ograničene prednosti ili čak dovela do pogoršanja. Eksperimenti s treniranjem modela koristeći mali broj primjera iz ciljnoga seta pokazali su poboljšanje performansi. Međutim, izazovi koji uključuju različite jezike i strukturirani izlaz zahtijevaju daljnja istraživanja. Zaključno, predložene metode u kojima se model trenira bez primjera iz ciljnog skupa ili koristeći smanjeni broj primjera iz ciljnog skupa predstavljaju obećavajuće rješenje za scenarije s ograničenim pristupom podacima ili rani razvoj sustava, ali fino podešavanje u punom opsegu je i dalje preferirana metoda u situacijama kada su podatci dostupni.
Abstract (english)
This thesis explores leveraging latent knowledge from pre-trained LLMs to improve performance in three scenarios: low-resource NER, NER trained using a dataset in a different language, and structured information extraction. The NER task is framed as a QA task solved using the FLAN-T5 model. Experimental results showed that including initial training examples enhanced performance in the zero-shot setting, but further increases offered limited benefits or even lead to deterioration. Few-shot experiments demonstrated performance improvement with the inclusion of data from the target dataset. However, challenges involving different languages and structured output require further research. In conclusion, the proposed zero- and few-shot methods present a promising solution for limited data scenarios or early system development, but full-scale fine-tuning remains preferable with sufficient data availability.
Keywords
Keywords (english)
Languageenglish
URN:NBNurn:nbn:hr:168:533614
Study programmeTitle: Computing
Study programme type: university
Study level: graduate
Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsClosed access
Terms of useLicence In copyright icon
Public note
Created on2023-10-11 10:03:44