prikaz prve stranice dokumenta Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije
Rad nije dostupan
završni rad
Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2022. urn:nbn:hr:168:596599
Đurđević, Patrik
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Đurđević, P. (2022). Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije (Završni rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:596599

Đurđević, Patrik. "Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije." Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2022. https://urn.nsk.hr/urn:nbn:hr:168:596599

Đurđević, Patrik. "Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije." Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2022. https://urn.nsk.hr/urn:nbn:hr:168:596599

Đurđević, P. (2022). 'Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije', Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 02.10.2024., https://urn.nsk.hr/urn:nbn:hr:168:596599

Đurđević P. Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije [Završni rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2022 [pristupljeno 02.10.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:596599

P. Đurđević, "Neparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije", Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2022. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:596599

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:596599
Podaci o radu
NaslovNeparametarsko kvantificiranje neizvjesnosti modela za klasifikaciju teksta korištenjem konformne predikcije
Naslov (engleski)Nonparametric quantification of uncertainty of text classification models using conformal prediction
AutorPatrik Đurđević
MentorJan Šnajder (mentor)
Član povjerenstvaJan Šnajder (predsjednik povjerenstva)
Član povjerenstvaDavid Dukić (član povjerenstva)
Član povjerenstvaFilip Karlo Došilović (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2022-07-01, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Računarstvo
Sažetak
Modeli obrade prirodnog jezika za klasifikaciju teksta sve se više koriste za rješavanje društveno korisnih zadataka kao što je analiza sentimenta. Algoritmi za konformno predviđanje nadograđuju uobičajenu paradigmu strojnog učenja i pomažu ekspertima u rješavanju ovih zadataka omogućujući im da izravno odrede stopu pogreške modela, uz mogućnost predviđanja više klasa za određeni primjer. Ovaj završni rad istražuje različite algoritme strojnog učenja i uspoređuje njihove rezultate na skupu podataka Amazonovih recenzija s ciljem predviđanja je li recenzija pozitivna ili negativna na temelju njenog naslova. Nakon pronalaženja najboljeg modela, rad se usredotočuje na evaluaciju Venn-Abersovih prediktora i algoritma konformnog predviđanja. Utvrđeno je da se vjerojatnosti dobivene koristeći algoritam Venn-Abers razlikuju od onih proizvedenih uobičajeno korištenim Plattovim skaliranjem. Nadalje, utvrđeno je da konformna predviđanja zadovoljavaju slobodno odabranu stopu pogreške. Model s najboljom izvedbom za taj zadatak bio je RoBERTa s F1 metrikom 0.86.
Sažetak (engleski)
Natural language processing models for text classification are increasingly being used to solve socially useful tasks such as sentiment analysis. Conformal prediction algorithms build on top of the regular machine learning paradigms helping practitioners solve these tasks by enabling them to directly specify the model's error rate, with the caveat of possibly observing multi-class predictions. This thesis explores various machine learning algorithms and compares their performance on the Amazon reviews dataset to predict whether the review is positive or negative based on its title. After finding the best model, the thesis evaluates Venn-Abers predictors and the conformal prediction algorithm. It is found that Venn-Abers-produced probabilities differ from ones produced by commonly-used Platt scaling. Furthermore, it is found that model and data-agnostic conformal predictions satisfy the freely-chosen error rate. The best performing model for the task was RoBERTa with 0.86 F1-score.
Ključne riječi
Ključne riječi (engleski)
Jezikengleski
URN:NBNurn:nbn:hr:168:596599
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: preddiplomski
Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2023-01-15 10:04:03