prikaz prve stranice dokumenta Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica
No public access
master's thesis
Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica
Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. urn:nbn:hr:168:358740
Rep, Ivan
University of Zagreb
Faculty of Electrical Engineering and Computing

Institutional repository: FER Repository

Cite this document

Rep, I. (2023). Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica (Master's thesis). Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing. Retrieved from https://urn.nsk.hr/urn:nbn:hr:168:358740

Rep, Ivan. "Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. https://urn.nsk.hr/urn:nbn:hr:168:358740

Rep, Ivan. "Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. https://urn.nsk.hr/urn:nbn:hr:168:358740

Rep, I. (2023). 'Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica', Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, accessed 17 September 2024, https://urn.nsk.hr/urn:nbn:hr:168:358740

Rep I. Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica [Master's thesis]. Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing; 2023 [cited 2024 September 17] Available at: https://urn.nsk.hr/urn:nbn:hr:168:358740

I. Rep, "Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica", Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, Zagreb, 2023. Available at: https://urn.nsk.hr/urn:nbn:hr:168:358740

Metadata
TitleKombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica
Title (english)Combining adaptive pretraining techniques for the task of automated fact-checking
AuthorIvan Rep
MentorJan Šnajder (mentor)
Committee memberJan Šnajder (predsjednik povjerenstva)
Committee memberMarko Đurasević (član povjerenstva)
Committee memberMarko Čupić (član povjerenstva)
GranterUniversity of Zagreb
Faculty of Electrical Engineering and Computing
Zagreb
Defense date and country2023-07-11, Croatia
Abstract
Razvoj tehnika strojnog učenja uvelike je promijenio ulogu numeričkih podataka i kako se ti podaci iskorištavaju. Kombiniranje tehnika obrade prirodnog jezika i arhitekture transformatora nadmašilo je ljudske performanse na određenim zadacima razumijevanja prirodnog jezika. Jedan od zadataka razumijevanja prirodnog jezika je i automatizirana provjera činjenica, koja postaje sve više potrebna zbog brzine širenja dezinformacija u modernim medijima. Ovaj rad bavi se primjenom modela transformatora na zadatak detekcije tvrdnji koje je potrebno provjeriti i na zadatak provjere činjenica. Rad uključuje niz eksperimenata vezanih uz predtreniranje arhitektura transformatora i fino podešavanje parametara modela na spomenutim zadacima. Za predtreniranje modela isprobane su neke od postojećih metoda, osmišljena je i isprobana strategija ciljanog maskiranja riječi za zadatak maskiranog modeliranja jezika, i osmišljen je i isproban zadatak detekcije riječi značajnih za zadatak provjere činjenica. Nastavno na eksperimente vezane uz predtreniranje modela, za fino podešavanje parametara modela osmišljen je i isproban način direktnog ugrađivanja informacije o značajnim riječima, testiran je utjecaj korištenja otežavanja funkcije gubitka i međusobni prijenos znanja između zadataka provjere činjenica. Za svaki od naučenih modela prezentirani su i komentirani rezultati, a detaljnija analiza pogrešaka napravljena je za BERT model.
Abstract (english)
The development of machine learning has drastically changed the role of numerical data and how it can be exploited. Combining natural language processing techniques and transformer architecture has surpassed human performance on certain natural language understanding tasks. One of the natural language understanding tasks is automated fact-checking, which has become increasingly important due to the rapid spreading of misinformation and disinformation in modern media outlets. The thesis focuses on applying transformer models to the task of claim check-worthiness detection and fact-verification. It includes a series of experiments regarding pretraining transformer models and fine-tuning on the mentioned tasks. Besides experimenting with the well-known pretraining methods, a method for strategically masking words in the masked language modeling procedure was developed, as well as a method for detecting highly informative words. Aside from experimenting with pretraining, the thesis includes testing the inclusion of highly informative words directly into the fine-tuning procedure, as well as mutual knowledge transfer from each of the fact-checking tasks, and the use of loss function weighting. Each of the trained models is presented and the results are commented on, while a more detailed error analysis is carried out for the BERT model.
Keywords
Keywords (english)
Languageenglish
URN:NBNurn:nbn:hr:168:358740
Study programmeTitle: Computing
Study programme type: university
Study level: graduate
Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsClosed access
Terms of useLicence In copyright icon
Public note
Created on2023-10-11 10:20:03