prikaz prve stranice dokumenta Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora
No public access
master's thesis
Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora
Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. urn:nbn:hr:168:372491
Kurdija, Vedran
University of Zagreb
Faculty of Electrical Engineering and Computing

Institutional repository: FER Repository

Cite this document

Kurdija, V. (2023). Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora (Master's thesis). Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing. Retrieved from https://urn.nsk.hr/urn:nbn:hr:168:372491

Kurdija, Vedran. "Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. https://urn.nsk.hr/urn:nbn:hr:168:372491

Kurdija, Vedran. "Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2023. https://urn.nsk.hr/urn:nbn:hr:168:372491

Kurdija, V. (2023). 'Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora', Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, accessed 30 June 2024, https://urn.nsk.hr/urn:nbn:hr:168:372491

Kurdija V. Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora [Master's thesis]. Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing; 2023 [cited 2024 June 30] Available at: https://urn.nsk.hr/urn:nbn:hr:168:372491

V. Kurdija, "Evaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora", Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, Zagreb, 2023. Available at: https://urn.nsk.hr/urn:nbn:hr:168:372491

Metadata
TitleEvaluacija mjera uspješnosti apstraktivnog sažimanja korištenjem generiranih sažetaka za učenje klasifikatora
Title (english)Evaluation of performance measures for abstractive summarization using generated summaries to train classifiers
AuthorVedran Kurdija
MentorJan Šnajder (mentor)
Committee memberJan Šnajder (predsjednik povjerenstva)
Committee memberMarko Đurasević (član povjerenstva)
Committee memberMarko Čupić (član povjerenstva)
GranterUniversity of Zagreb
Faculty of Electrical Engineering and Computing
Zagreb
Defense date and country2023-07-10, Croatia
Abstract
Automatsko sažimanje teksta čitateljima štedi dragocjeno vrijeme. Veliki pred-trenirani jezični modeli suvremen su alat za ovaj zadatak. Kako bismo ih efikasno evaluirali, potrebne su automatske metrike sažimanja. Cilj ovog rada bio je evaluirati sumarizacijske metrike ko- rištenjem sažetaka kao ulaza u klasifikator, bez potrebe za ljudskom procjenom generiranih sažetaka. Eksperimenti su provedeni na BigPatent i Reddit skupovima podataka uz korištenje ve- likih pred-treniranih jezičnih modela kao sažimača i logističke regresije kao klasifikatora. Korištene su različite vrste ulaza i raspona rezultata sažetaka u svrhu istraživanja metode i mogućih pristranosti. Metrike su uspored̄ene vizualno i brojčano. BERTScore i ROUGE-1 postigle su najbolje rezultate u okruženju kratkih sažetaka, gdje su ROUGE-2 i ROUGE-3 postigle loše rezultate, dok su ROUGE-1 i ROUGE-2 postigle najbolje rezultate u okruženju dužih sažetaka. BLEU je postigao usporedive i konzistentne rezultate u svim scenarijima. Rezultati za različite raspone rezultata sažetaka doimaju se konzistentnima u kontekstu rel- ativnog poretka metrika za odred̄eni skup podataka, sa mogućnom nestabilnošću i većom osjetljivošću na pristranosti u najnižem rasponu rezultata sažetaka.
Abstract (english)
Automatically summarizing text saves readers valuable time. Large pre-trained language models are the state of the art tool for this task. In order to evaluate them efficiently, auto- matic summarization metrics are required. The goal of this thesis was to evaluate summa- rization metrics by using summaries as inputs to a classifier, requiring no human judgment of the generated summaries. Experiments were performed on the BigPatent and Reddit datasets using large pre-trained language models as the summarizers and logistic regression as the classifier. Different input types and summary scoring ranges were used to explore the method and potential biases. Metrics were compared visually and numerically. BERTScore and ROUGE-1 performed best in the short summary setting, where ROUGE-2 and ROUGE-3 performed poorly, and ROUGE-1 and ROUGE-2 performed best in the longer summary setting. BLEU performed competitively and consistently across all scenarios. Results with different summary scoring ranges appear consistent in regards to the relative order of metrics for a fixed dataset, with potential instability and a greater susceptibility to biases in the lowest summary scoring range.
Keywords
Keywords (english)
Languageenglish
URN:NBNurn:nbn:hr:168:372491
Study programmeTitle: Computing
Study programme type: university
Study level: graduate
Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsClosed access
Terms of useLicence In copyright icon
Public note
Created on2023-10-11 09:28:43