prikaz prve stranice dokumenta Evaluacija pristupa poboljšavanja velikih jezičnih modela na temelju metoda podržanog učenja
Rad nije dostupan
diplomski rad
Evaluacija pristupa poboljšavanja velikih jezičnih modela na temelju metoda podržanog učenja
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. urn:nbn:hr:168:274755
Bokšić, Iva
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Bokšić, I. (2024). Evaluacija pristupa poboljšavanja velikih jezičnih modela na temelju metoda podržanog učenja (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:274755

Bokšić, Iva. "Evaluacija pristupa poboljšavanja velikih jezičnih modela na temelju metoda podržanog učenja." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. https://urn.nsk.hr/urn:nbn:hr:168:274755

Bokšić, Iva. "Evaluacija pristupa poboljšavanja velikih jezičnih modela na temelju metoda podržanog učenja." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. https://urn.nsk.hr/urn:nbn:hr:168:274755

Bokšić, I. (2024). 'Evaluacija pristupa poboljšavanja velikih jezičnih modela na temelju metoda podržanog učenja', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 23.11.2024., https://urn.nsk.hr/urn:nbn:hr:168:274755

Bokšić I. Evaluacija pristupa poboljšavanja velikih jezičnih modela na temelju metoda podržanog učenja [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2024 [pristupljeno 23.11.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:274755

I. Bokšić, "Evaluacija pristupa poboljšavanja velikih jezičnih modela na temelju metoda podržanog učenja", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2024. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:274755

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:274755
Podaci o radu
NaslovEvaluacija pristupa poboljšavanja velikih jezičnih modela na temelju metoda podržanog učenja
Naslov (engleski)Evaluation of Approaches for Enhancing Large Language Models based on Reinforcement Learning Methods
AutorIva Bokšić
MentorDamir Pintar (mentor)
Član povjerenstvaDamir Pintar (predsjednik povjerenstva)
Član povjerenstvaMihaela Vranić (član povjerenstva)
Član povjerenstvaLuka Humski (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2024-02-27, Hrvatska
Sažetak
Istraživački rad fokusira se na primjenu podržanog učenja iz ljudskih povratnih informacija (RLHF) za razvoj modela sažimanja teksta. Kroz korištenje nadziranog finog podešavanja i optimizacije proksimalne politike, analizirane su mogućnosti prilagodbe modela ljudskim preferencijama. Rezultati pokazuju uspješnost modela u sažimanju teksta, ali i izazove u postizanju potpune usklađenosti s ljudskim evaluacijama. Nestabilnost tijekom učenja, ograničeni datasetovi te odabir hiperparametara ističu se kao ključni čimbenici utjecaja na performanse modela. Ovi nalazi ukazuju na potrebu daljnjih istraživanja i prilagodbi kako bi se ostvarila bolja usklađenost modela sa željenim ljudskim preferencijama u sažimanju teksta.
Sažetak (engleski)
The research paper focuses on the application of Reinforcement Learning from Human Feedback (RLHF) for developing abstractive text summarization models. By employing supervised fine-tuning and proximal policy optimization, the possibilities of adapting the model to human preferences were analyzed. The results demonstrate the success of the model in text summarization but also highlight challenges in achieving complete alignment with human evaluations. Instabilities during learning, limited datasets, and the selection of hyperparameters stand out as crucial factors influencing the model's performance. These findings indicate the need for further research and adjustments to achieve better alignment of the model with desired human preferences in text summarization.
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:168:274755
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2024-03-28 07:43:55