prikaz prve stranice dokumenta Sustavi pitanja i odgovora zasnovani na velikim jezičnim modelima
Rad nije dostupan
diplomski rad
Sustavi pitanja i odgovora zasnovani na velikim jezičnim modelima
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. urn:nbn:hr:168:303374
Jagodić, Eva
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Jagodić, E. (2024). Sustavi pitanja i odgovora zasnovani na velikim jezičnim modelima (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:303374

Jagodić, Eva. "Sustavi pitanja i odgovora zasnovani na velikim jezičnim modelima." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. https://urn.nsk.hr/urn:nbn:hr:168:303374

Jagodić, Eva. "Sustavi pitanja i odgovora zasnovani na velikim jezičnim modelima." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. https://urn.nsk.hr/urn:nbn:hr:168:303374

Jagodić, E. (2024). 'Sustavi pitanja i odgovora zasnovani na velikim jezičnim modelima', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 22.11.2024., https://urn.nsk.hr/urn:nbn:hr:168:303374

Jagodić E. Sustavi pitanja i odgovora zasnovani na velikim jezičnim modelima [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2024 [pristupljeno 22.11.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:303374

E. Jagodić, "Sustavi pitanja i odgovora zasnovani na velikim jezičnim modelima", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2024. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:303374

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:303374
Podaci o radu
NaslovSustavi pitanja i odgovora zasnovani na velikim jezičnim modelima
Naslov (engleski)Question answering systems based on large language models
AutorEva Jagodić
MentorMarin Šilić (mentor)
Član povjerenstvaMarin Šilić (predsjednik povjerenstva)
Član povjerenstvaGoran Delač (član povjerenstva)
Član povjerenstvaAdrian Satja Kurdija (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2024-02-19, Hrvatska
Sažetak
Veliki jezični modeli označili su revoluciju u području obrade prirodnog jezika. Za razliku od tradicionalnih sustava strojnog učenja, koji su trenirani na jednom zadatku i potom korišteni isključivo na tom istom zadatku, veliki jezični modeli postižu dobre rezultate na velikom rasponu zadataka, kako tradicionalnih tako i potpuno novih. Zadatak pitanja i odgovora jedan je od osnovnih zadataka obrade prirodnog jezika koji je također doživio promjene razvojem velikih jezičnih modela. Ovaj rad istražuje najsuvremenije sustave pitanja i odgovora zasnovane na velikim jezičnim modelima i pokušava riješiti jedan od značajnih ograničenja tih modela: jezično ograničenje. Naime, većina modela usmjerena je na engleski jezik, i u korpusu za treniranje i u evaluaciji. Stoga je fokus ovog rada na prilagodbi modela Llama-2 na njemački jezik. U ovu svrhu konstruiran je okvir za evaluaciju na njemačkom i istražene su dvije tehnike poboljšanja s niskim zahtjevima na računalne resurse: učenje iz konteksta i fino podešavanje instrukcijama na parametarski učinkovit način. Rezultati ukazuju na to da dok se značajno poboljšanje može postići korištenjem jednostavnih few-shot instrukcija, fino podešavanje nedovoljno je za dodatna poboljšanja njemačkih sposobnosti.
Sažetak (engleski)
Large Language Models (LLMs) have revolutionized the field of Natural Language Processing (NLP). Unlike traditional machine learning systems, which are trained on a specific task and then applied exclusively to this task, LLMs demonstrate proficiency on a wide variety of tasks, both traditional and novel. Question answering (QA) is one of the fundamental NLP tasks that has experienced notable changes with the development of LLMs. This thesis explores the state-of-the-art of question answering systems based on LLMs and attempts to address one of the significant limitations of these models: the language limitation. Most LLMs are English-centered, in both their pretraining corpus and in their evaluation. Therefore, the focus of the thesis is on trying to adapt a powerful open-soruce model, Llama-2, to German. To achieve this, a German evaluation framework is constructed, and two low-resource enhancement techniques are explored, namely in-context learning and parameter efficient instruction tuning. The results reveal that while significant improvement can be achieved using simple few-shot prompting, fine-tuning proves to be insufficient for further improvements of the model's German QA capabilities.
Ključne riječi
Ključne riječi (engleski)
Jezikengleski
URN:NBNurn:nbn:hr:168:303374
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2024-10-12 20:53:55