prikaz prve stranice dokumenta Obrada prirodnog jezika korištenjem velikih jezičnih modela
  Download
PDF 1.03 MB
undergraduate thesis
Obrada prirodnog jezika korištenjem velikih jezičnih modela
Rijeka: University of Rijeka, Faculty of Engineering, 2024. urn:nbn:hr:190:401784
Putić, Marko
University of Rijeka
Faculty of Engineering
Department of Computer Engineering
Section of Intelligent Computing Systems

Institutional repository: Repository of the University of Rijeka, Faculty of Engineering

Cite this document

Putić, M. (2024). Obrada prirodnog jezika korištenjem velikih jezičnih modela (Undergraduate thesis). Rijeka: University of Rijeka, Faculty of Engineering. Retrieved from https://urn.nsk.hr/urn:nbn:hr:190:401784

Putić, Marko. "Obrada prirodnog jezika korištenjem velikih jezičnih modela." Undergraduate thesis, University of Rijeka, Faculty of Engineering, 2024. https://urn.nsk.hr/urn:nbn:hr:190:401784

Putić, Marko. "Obrada prirodnog jezika korištenjem velikih jezičnih modela." Undergraduate thesis, University of Rijeka, Faculty of Engineering, 2024. https://urn.nsk.hr/urn:nbn:hr:190:401784

Putić, M. (2024). 'Obrada prirodnog jezika korištenjem velikih jezičnih modela', Undergraduate thesis, University of Rijeka, Faculty of Engineering, accessed 23 November 2024, https://urn.nsk.hr/urn:nbn:hr:190:401784

Putić M. Obrada prirodnog jezika korištenjem velikih jezičnih modela [Undergraduate thesis]. Rijeka: University of Rijeka, Faculty of Engineering; 2024 [cited 2024 November 23] Available at: https://urn.nsk.hr/urn:nbn:hr:190:401784

M. Putić, "Obrada prirodnog jezika korištenjem velikih jezičnih modela", Undergraduate thesis, University of Rijeka, Faculty of Engineering, Rijeka, 2024. Available at: https://urn.nsk.hr/urn:nbn:hr:190:401784

Metadata
TitleObrada prirodnog jezika korištenjem velikih jezičnih modela
Title (english)Natural language processing using large language models
AuthorMarko Putić
MentorGoran Mauša (mentor)
Committee memberMiroslav Joler (predsjednik povjerenstva)
Committee memberGoran Mauša (član povjerenstva)
GranterUniversity of Rijeka
Faculty of Engineering
(Department of Computer Engineering)
(Section of Intelligent Computing Systems)
Rijeka
Defense date and country2024-09-12, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Computing
Abstract
Ovaj rad ima za cilj proučiti ključne komponente prisutne u procesu obrade prirodnog jezika. Rad počinje od temelja - modela transformera, gdje su razmotreni njihova arhitektura, način rada i uloga u razvoju suvremenih alata za obradu jezika. Transformeri su predstavljeni kao baza jezičnih modela radi učinkovitijeg načina obrađivanja složenih jezičnih struktura u usporedbi s prethodnim modelima. Nadalje, u radu su prikazani postojeći modeli ChatGPT i BERT koji dokazuju da se veliki jezični modeli mogu prilagoditi specifičnim namjenama, od generiranja teksta do analize i klasifikacije istog. Također su istražena rješenja za povećanje učinkovitosti jezičnih modela, kao što su grafički procesori (GPU) i jedinice za obradu tenzora (TPU), pri čemu je utvrđeno kako te tehnologije igraju ključnu ulogu u ubrzavanju i optimizaciji treniranja modela. Kroz rad se naglašava potreba za kontinuiranim razvojem i istraživanjem u području obrade prirodnog jezika, uz dozu opreza i potrebu za čovjekovim nadgledanjem svih procesa i rada umjetne inteligencije.
Abstract (english)
This paper aims to study the key components present in the natural language processing. The paper starts from the foundation - the transformer model, where its architecture, operation and role in the development of modern language processing tools are discussed. Transformers are presented as a base of language models resulting in a more efficient way of processing complex language structures in comparison to previous models. Furthermore, the paper presents the existing ChatGPT and BERT models, which prove that large language models can be adapted to specific purposes, from text generation to analysis and classification. Solutions to increase the efficiency of language models, such as graphic processors (GPUs) and tensor processing units (TPUs) were also explained, finding that these technologies play a key role in speeding up and optimizing model training. The paper emphasizes the need for continuous development and research in the field of natural language processing, with a dose of caution and the need for human supervision of all processes and work of artificial intelligence.
Keywords
Keywords (english)
Languagecroatian
URN:NBNurn:nbn:hr:190:401784
Study programmeTitle: Computer Engineering
Study programme type: university
Study level: undergraduate
Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsOpen access
Terms of useLicence Attribution 4.0 International (CC BY 4.0) icon
Created on2024-09-23 14:01:52