prikaz prve stranice dokumenta Primjena generativnoga jezičnog modela na zadatke odgovaranja na pitanja i jezičnog modeliranja
Rad nije dostupan
završni rad
Primjena generativnoga jezičnog modela na zadatke odgovaranja na pitanja i jezičnog modeliranja
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. urn:nbn:hr:168:981173
Šegvić, Jerko
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Šegvić, J. (2023). Primjena generativnoga jezičnog modela na zadatke odgovaranja na pitanja i jezičnog modeliranja (Završni rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:981173

Šegvić, Jerko. "Primjena generativnoga jezičnog modela na zadatke odgovaranja na pitanja i jezičnog modeliranja." Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. https://urn.nsk.hr/urn:nbn:hr:168:981173

Šegvić, Jerko. "Primjena generativnoga jezičnog modela na zadatke odgovaranja na pitanja i jezičnog modeliranja." Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. https://urn.nsk.hr/urn:nbn:hr:168:981173

Šegvić, J. (2023). 'Primjena generativnoga jezičnog modela na zadatke odgovaranja na pitanja i jezičnog modeliranja', Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 28.12.2024., https://urn.nsk.hr/urn:nbn:hr:168:981173

Šegvić J. Primjena generativnoga jezičnog modela na zadatke odgovaranja na pitanja i jezičnog modeliranja [Završni rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2023 [pristupljeno 28.12.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:981173

J. Šegvić, "Primjena generativnoga jezičnog modela na zadatke odgovaranja na pitanja i jezičnog modeliranja", Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2023. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:981173

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:981173
Podaci o radu
NaslovPrimjena generativnoga jezičnog modela na zadatke odgovaranja na pitanja i jezičnog modeliranja
Naslov (engleski)Application of a generative language model to question answering and language modeling tasks
AutorJerko Šegvić
MentorJan Šnajder (mentor)
Član povjerenstvaJan Šnajder (predsjednik povjerenstva)
Član povjerenstvaDavid Dukić (član povjerenstva)
Član povjerenstvaJosip Jukić (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2023-07-05, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Računarstvo
Sažetak
Rad proučava mogućnosti generativnog jezičnog modela GPT-2. Detaljno je objašnjena ideja iza generativnih jezičnih modela i principi na kojima se temelje. Objašnjena je arhitektura modela i mehanizmi koje konkretan model koristi. Performanse modela mjerene su na tri različita skupa podataka bez ugađanja i s ugađanjem na podskupovima za treniranje. Skupovi podataka testiraju sposobnost modela za rješavanje jezičnih zadataka odgovaranja na pitanja i jezičnog modeliranja. Za svaki skup je objašnjena njegova struktura, naveden broj primjera na svakom podskupu te objašnjeno što je njime testirano. Da bi model uspješno savladao te zadatke, mora moći pratiti dulji kontekst i dobro razumjeti sadržaj teksta. Opisan je postupak treniranja i nevedeni su hiperparametri korišteni za treniranje na svakom skupu. Provedena je detaljna analiza rezultata prije i nakon ugađanja modela. Komentirani su nedostatci i predloženi koraci za daljnji razvoj.
Sažetak (engleski)
This work studies the abilities of the generative language model GPT-2. The general idea behind generative language models and the principles on which they are based are explained in great detail. The architecture of GPT-2 and the mechanisms used by it are also explained. The performance of the model is measured on three different datasets in the zero-shot setup and with fine-tuning on the training subsets. The datasets test the model's ability to handle more complex language tasks. The structure of each dataset is explained in detail. For each dataset, the size of each subset is listed, and it is explained which tasks they are testing. To succeed on these tasks, the model must be able to follow the longer context and understand it well. The training procedure is described, and hyperparameters used to train each dataset are listed. A detailed analysis of the results before and after fine-tuning was carried out. The deficiencies of training procedures are commented. The steps for further development are also suggested.
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:168:981173
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: preddiplomski
Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2023-10-11 10:38:13