prikaz prve stranice dokumenta Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije
No public access
undergraduate thesis
Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije
Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing, 2022. urn:nbn:hr:168:596599
Đurđević, Patrik
University of Zagreb
Faculty of Electrical Engineering and Computing

Institutional repository: FER Repository

Cite this document

Đurđević, P. (2022). Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije (Undergraduate thesis). Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing. Retrieved from https://urn.nsk.hr/urn:nbn:hr:168:596599

Đurđević, Patrik. "Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije." Undergraduate thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2022. https://urn.nsk.hr/urn:nbn:hr:168:596599

Đurđević, Patrik. "Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije." Undergraduate thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2022. https://urn.nsk.hr/urn:nbn:hr:168:596599

Đurđević, P. (2022). 'Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije', Undergraduate thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, accessed 15 October 2024, https://urn.nsk.hr/urn:nbn:hr:168:596599

Đurđević P. Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije [Undergraduate thesis]. Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing; 2022 [cited 2024 October 15] Available at: https://urn.nsk.hr/urn:nbn:hr:168:596599

P. Đurđević, "Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije", Undergraduate thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, Zagreb, 2022. Available at: https://urn.nsk.hr/urn:nbn:hr:168:596599

Metadata
TitleNeparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije
Title (english)Nonparametric quantification of uncertainty of text classification models using conformal prediction
AuthorPatrik Đurđević
MentorJan Šnajder (mentor)
Committee memberJan Šnajder (predsjednik povjerenstva)
Committee memberDavid Dukić (član povjerenstva)
Committee memberFilip Karlo Došilović (član povjerenstva)
GranterUniversity of Zagreb
Faculty of Electrical Engineering and Computing
Zagreb
Defense date and country2022-07-01, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Computing
Abstract
Modeli obrade prirodnog jezika za klasifikaciju teksta sve se više koriste za rješavanje društveno korisnih zadataka kao što je analiza sentimenta. Algoritmi za konformno predviđanje nadograđuju uobičajenu paradigmu strojnog učenja i pomažu ekspertima u rješavanju ovih zadataka omogućujući im da izravno odrede stopu pogreške modela, uz mogućnost predviđanja više klasa za određeni primjer. Ovaj završni rad istražuje različite algoritme strojnog učenja i uspoređuje njihove rezultate na skupu podataka Amazonovih recenzija s ciljem predviđanja je li recenzija pozitivna ili negativna na temelju njenog naslova. Nakon pronalaženja najboljeg modela, rad se usredotočuje na evaluaciju Venn-Abersovih prediktora i algoritma konformnog predviđanja. Utvrđeno je da se vjerojatnosti dobivene koristeći algoritam Venn-Abers razlikuju od onih proizvedenih uobičajeno korištenim Plattovim skaliranjem. Nadalje, utvrđeno je da konformna predviđanja zadovoljavaju slobodno odabranu stopu pogreške. Model s najboljom izvedbom za taj zadatak bio je RoBERTa s F1 metrikom 0.86.
Abstract (english)
Natural language processing models for text classification are increasingly being used to solve socially useful tasks such as sentiment analysis. Conformal prediction algorithms build on top of the regular machine learning paradigms helping practitioners solve these tasks by enabling them to directly specify the model's error rate, with the caveat of possibly observing multi-class predictions. This thesis explores various machine learning algorithms and compares their performance on the Amazon reviews dataset to predict whether the review is positive or negative based on its title. After finding the best model, the thesis evaluates Venn-Abers predictors and the conformal prediction algorithm. It is found that Venn-Abers-produced probabilities differ from ones produced by commonly-used Platt scaling. Furthermore, it is found that model and data-agnostic conformal predictions satisfy the freely-chosen error rate. The best performing model for the task was RoBERTa with 0.86 F1-score.
Keywords
Keywords (english)
Languageenglish
URN:NBNurn:nbn:hr:168:596599
Study programmeTitle: Computing
Study programme type: university
Study level: undergraduate
Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsClosed access
Terms of useLicence In copyright icon
Public note
Created on2023-01-15 10:04:03