prikaz prve stranice dokumenta Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta
Rad nije dostupan
diplomski rad
Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. urn:nbn:hr:168:533614
Pavlović, Luka
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Pavlović, L. (2023). Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:533614

Pavlović, Luka. "Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. https://urn.nsk.hr/urn:nbn:hr:168:533614

Pavlović, Luka. "Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. https://urn.nsk.hr/urn:nbn:hr:168:533614

Pavlović, L. (2023). 'Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 25.08.2024., https://urn.nsk.hr/urn:nbn:hr:168:533614

Pavlović L. Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2023 [pristupljeno 25.08.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:533614

L. Pavlović, "Iskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2023. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:533614

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:533614
Podaci o radu
NaslovIskorištavanje latentnog znanja jezičnih modela za poboljšanje performansi na zadatcima razumijevanja dokumenta
Naslov (engleski)Exploiting latent knowledge of language models to improve performance on document understanding tasks
AutorLuka Pavlović
MentorJan Šnajder (mentor)
Član povjerenstvaJan Šnajder (predsjednik povjerenstva)
Član povjerenstvaMarko Đurasević (član povjerenstva)
Član povjerenstvaMarko Čupić (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2023-07-10, Hrvatska
Sažetak
Ovaj diplomski rad istražuje iskorištavanje latentnog znanja iz predtreniranih velikih jezičnih modela za poboljšanje performansi u tri scenarija: prepoznavanje imenovanih entiteta (engl. Named Entity Recognition, NER) s ograničenim resursima, NER treniran korištenjem skupa podataka na drugom jeziku i ekstrakcija informacija u strukturiranoj formi. NER zadatak je preoblikovan u zadatak odgovaranja na pitanja (engl. Question Answering) i riješen korištenjem FLAN-T5 modela. Rezultati su pokazali da je početno uključivanje primjera za učenje poboljšalo rezultate u eksperimentima bez treniranja modela koristeći podatke iz ciljnog skupa, ali daljnja povećanja donijela su ograničene prednosti ili čak dovela do pogoršanja. Eksperimenti s treniranjem modela koristeći mali broj primjera iz ciljnoga seta pokazali su poboljšanje performansi. Međutim, izazovi koji uključuju različite jezike i strukturirani izlaz zahtijevaju daljnja istraživanja. Zaključno, predložene metode u kojima se model trenira bez primjera iz ciljnog skupa ili koristeći smanjeni broj primjera iz ciljnog skupa predstavljaju obećavajuće rješenje za scenarije s ograničenim pristupom podacima ili rani razvoj sustava, ali fino podešavanje u punom opsegu je i dalje preferirana metoda u situacijama kada su podatci dostupni.
Sažetak (engleski)
This thesis explores leveraging latent knowledge from pre-trained LLMs to improve performance in three scenarios: low-resource NER, NER trained using a dataset in a different language, and structured information extraction. The NER task is framed as a QA task solved using the FLAN-T5 model. Experimental results showed that including initial training examples enhanced performance in the zero-shot setting, but further increases offered limited benefits or even lead to deterioration. Few-shot experiments demonstrated performance improvement with the inclusion of data from the target dataset. However, challenges involving different languages and structured output require further research. In conclusion, the proposed zero- and few-shot methods present a promising solution for limited data scenarios or early system development, but full-scale fine-tuning remains preferable with sufficient data availability.
Ključne riječi
Ključne riječi (engleski)
Jezikengleski
URN:NBNurn:nbn:hr:168:533614
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2023-10-11 10:03:44