prikaz prve stranice dokumenta Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora
Rad nije dostupan
diplomski rad
Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. urn:nbn:hr:168:372491
Kurdija, Vedran
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Kurdija, V. (2023). Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:372491

Kurdija, Vedran. "Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. https://urn.nsk.hr/urn:nbn:hr:168:372491

Kurdija, Vedran. "Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. https://urn.nsk.hr/urn:nbn:hr:168:372491

Kurdija, V. (2023). 'Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 20.05.2024., https://urn.nsk.hr/urn:nbn:hr:168:372491

Kurdija V. Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2023 [pristupljeno 20.05.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:372491

V. Kurdija, "Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2023. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:372491

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:372491
Podaci o radu
NaslovEvaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora
Naslov (engleski)Evaluation of performance measures for abstractive summarization using generated summaries to train classifiers
AutorVedran Kurdija
MentorJan Šnajder (mentor)
Član povjerenstvaJan Šnajder (predsjednik povjerenstva)
Član povjerenstvaMarko Đurasević (član povjerenstva)
Član povjerenstvaMarko Čupić (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2023-07-10, Hrvatska
Sažetak
Automatsko sažimanje teksta čitateljima štedi dragocjeno vrijeme. Veliki pred-trenirani jezični modeli suvremen su alat za ovaj zadatak. Kako bismo ih efikasno evaluirali, potrebne su automatske metrike sažimanja. Cilj ovog rada bio je evaluirati sumarizacijske metrike ko- rištenjem sažetaka kao ulaza u klasifikator, bez potrebe za ljudskom procjenom generiranih sažetaka. Eksperimenti su provedeni na BigPatent i Reddit skupovima podataka uz korištenje ve- likih pred-treniranih jezičnih modela kao sažimača i logističke regresije kao klasifikatora. Korištene su različite vrste ulaza i raspona rezultata sažetaka u svrhu istraživanja metode i mogućih pristranosti. Metrike su uspored̄ene vizualno i brojčano. BERTScore i ROUGE-1 postigle su najbolje rezultate u okruženju kratkih sažetaka, gdje su ROUGE-2 i ROUGE-3 postigle loše rezultate, dok su ROUGE-1 i ROUGE-2 postigle najbolje rezultate u okruženju dužih sažetaka. BLEU je postigao usporedive i konzistentne rezultate u svim scenarijima. Rezultati za različite raspone rezultata sažetaka doimaju se konzistentnima u kontekstu rel- ativnog poretka metrika za odred̄eni skup podataka, sa mogućnom nestabilnošću i većom osjetljivošću na pristranosti u najnižem rasponu rezultata sažetaka.
Sažetak (engleski)
Automatically summarizing text saves readers valuable time. Large pre-trained language models are the state of the art tool for this task. In order to evaluate them efficiently, auto- matic summarization metrics are required. The goal of this thesis was to evaluate summa- rization metrics by using summaries as inputs to a classifier, requiring no human judgment of the generated summaries. Experiments were performed on the BigPatent and Reddit datasets using large pre-trained language models as the summarizers and logistic regression as the classifier. Different input types and summary scoring ranges were used to explore the method and potential biases. Metrics were compared visually and numerically. BERTScore and ROUGE-1 performed best in the short summary setting, where ROUGE-2 and ROUGE-3 performed poorly, and ROUGE-1 and ROUGE-2 performed best in the longer summary setting. BLEU performed competitively and consistently across all scenarios. Results with different summary scoring ranges appear consistent in regards to the relative order of metrics for a fixed dataset, with potential instability and a greater susceptibility to biases in the lowest summary scoring range.
Ključne riječi
Ključne riječi (engleski)
Jezikengleski
URN:NBNurn:nbn:hr:168:372491
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2023-10-11 09:28:43