prikaz prve stranice dokumenta Primjena i vrednovanje velikih višejezičnih modela za prepoznavanje imenovanih entiteta na hrvatskome jeziku
No public access
undergraduate thesis
Primjena i vrednovanje velikih višejezičnih modela za prepoznavanje imenovanih entiteta na hrvatskome jeziku
Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing, 2024. urn:nbn:hr:168:200183
Matić, Dorian
University of Zagreb
Faculty of Electrical Engineering and Computing

Institutional repository: FER Repository

Cite this document

Matić, D. (2024). Primjena i vrednovanje velikih višejezičnih modela za prepoznavanje imenovanih entiteta na hrvatskome jeziku (Undergraduate thesis). Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing. Retrieved from https://urn.nsk.hr/urn:nbn:hr:168:200183

Matić, Dorian. "Primjena i vrednovanje velikih višejezičnih modela za prepoznavanje imenovanih entiteta na hrvatskome jeziku." Undergraduate thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2024. https://urn.nsk.hr/urn:nbn:hr:168:200183

Matić, Dorian. "Primjena i vrednovanje velikih višejezičnih modela za prepoznavanje imenovanih entiteta na hrvatskome jeziku." Undergraduate thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2024. https://urn.nsk.hr/urn:nbn:hr:168:200183

Matić, D. (2024). 'Primjena i vrednovanje velikih višejezičnih modela za prepoznavanje imenovanih entiteta na hrvatskome jeziku', Undergraduate thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, accessed 29 November 2024, https://urn.nsk.hr/urn:nbn:hr:168:200183

Matić D. Primjena i vrednovanje velikih višejezičnih modela za prepoznavanje imenovanih entiteta na hrvatskome jeziku [Undergraduate thesis]. Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing; 2024 [cited 2024 November 29] Available at: https://urn.nsk.hr/urn:nbn:hr:168:200183

D. Matić, "Primjena i vrednovanje velikih višejezičnih modela za prepoznavanje imenovanih entiteta na hrvatskome jeziku", Undergraduate thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, Zagreb, 2024. Available at: https://urn.nsk.hr/urn:nbn:hr:168:200183

Metadata
TitlePrimjena i vrednovanje velikih višejezičnih modela za prepoznavanje imenovanih entiteta na hrvatskome jeziku
Title (english)Application and evaluation of multilingual large language models for named entity recognition in the Croatian language
AuthorDorian Matić
MentorJan Šnajder (mentor)
Committee memberJan Šnajder (predsjednik povjerenstva)
Committee memberDavid Dukić (član povjerenstva)
Committee memberAna Barić (član povjerenstva)
GranterUniversity of Zagreb
Faculty of Electrical Engineering and Computing
Zagreb
Defense date and country2024-07-03, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Computing
Abstract
Prepoznavanje imenovanih entiteta je zadatak razumijevanja prirodnog jezika kojem je cilj klasifikacija imenovanih entiteta (NER) u tekstu. Rad istražuje dva pristupa primjene dekoderskih velikih višejezičnih modela (LLM) za NER na hrvatskom jeziku: fino ugađanje LLM-ova bez intervencija u arhitekturu modela i fino ugađanje LLM-ova uz uklanjanje kauzalne maske s pojedinih dekoderskih slojeva koji čine model. Postupak ugađanja je proveden na slobodno dostupnim skupovima podataka. Sljedeći modeli su podvrgnuti ugađanju: Mistral-7B, YugoGPT, Gemma-2B, Llama2-7B i Llama3-8B i provedeno je njihovo vrednovanje. Svi su rezultati uspoređeni s bcms-bertic-ner (trenutačno najbolji model). Rad zaključuje da su fino ugođeni LLM-ovi vrijedna opcija za zadatak NER-a na hrvatskom jeziku, a u nekim slučajevima i najbolja.
Abstract (english)
Named entity recognition (NER) is a natural language understanding (NLU) task that aims to classify named entities in text. The thesis investigates two approaches for applying decoder-only large language models (LLMs) for NER in Croatian: (1) training decoder-only models for NER without any interventions into the model architecture, and (2) selectively removing the causal mask from decoder layers that comprise the model itself before commencing the training process. The training is conducted with annotated and open-source datasets for the Croatian language NER. The following LLMs are trained: Mistral-7B, YugoGPT, Llama2-7B, and Llama3-8B, and their evaluations have been reported. All results are compared against bcms-bertic-ner (SOTA). Finally, the thesis concludes that finetuned LLMs are a viable option for NER, and sometimes even a preferable alternative.
Keywords
Keywords (english)
Languageenglish
URN:NBNurn:nbn:hr:168:200183
Study programmeTitle: Computing
Study programme type: university
Study level: undergraduate
Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsClosed access
Terms of useLicence In copyright icon
Public note
Created on2024-10-12 21:31:10