prikaz prve stranice dokumenta Automatska detekcija demencije iz govora koristeći transformerske modele
No public access
master's thesis
Automatska detekcija demencije iz govora koristeći transformerske modele
Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing, 2022. urn:nbn:hr:168:052863
Matošević, Lovro
University of Zagreb
Faculty of Electrical Engineering and Computing

Institutional repository: FER Repository

Cite this document

Matošević, L. (2022). Automatska detekcija demencije iz govora koristeći transformerske modele (Master's thesis). Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing. Retrieved from https://urn.nsk.hr/urn:nbn:hr:168:052863

Matošević, Lovro. "Automatska detekcija demencije iz govora koristeći transformerske modele." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2022. https://urn.nsk.hr/urn:nbn:hr:168:052863

Matošević, Lovro. "Automatska detekcija demencije iz govora koristeći transformerske modele." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2022. https://urn.nsk.hr/urn:nbn:hr:168:052863

Matošević, L. (2022). 'Automatska detekcija demencije iz govora koristeći transformerske modele', Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, accessed 23 June 2024, https://urn.nsk.hr/urn:nbn:hr:168:052863

Matošević L. Automatska detekcija demencije iz govora koristeći transformerske modele [Master's thesis]. Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing; 2022 [cited 2024 June 23] Available at: https://urn.nsk.hr/urn:nbn:hr:168:052863

L. Matošević, "Automatska detekcija demencije iz govora koristeći transformerske modele", Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, Zagreb, 2022. Available at: https://urn.nsk.hr/urn:nbn:hr:168:052863

Metadata
TitleAutomatska detekcija demencije iz govora koristeći transformerske modele
Title (english)Automatic Detection of Dementia from Speech Using Transformer Models
AuthorLovro Matošević
MentorAlan Jović (mentor)
Committee memberAlan Jović (predsjednik povjerenstva)
Committee memberAnte Đerek (član povjerenstva)
Committee memberMarin Golub (član povjerenstva)
GranterUniversity of Zagreb
Faculty of Electrical Engineering and Computing
Zagreb
Defense date and country2022-07-06, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Computing
Abstract
Demencija je ozbiljna bolest koja je najčešće kronične ili progresivne naravi te je jedan od glavnih uzroka invalidnosti među starijom svjetskom populacijom. Automatska detekcija demencije težak je zadatak. Uključuje analizu akustičkih značajki govora, lingvističkih značajki transkripata i slično. Ovaj rad bavi se istraživanjem mogućnosti modela dubokog učenja koji iz lingvističkih transkripata te direktno iz govora detektiraju potencijalnu demenciju. Korišten je skup podataka Pittov korpus, dio DementiaBank dijeljene baze podataka čija je glavna namjena proučavanje demencije i srodnih bolesti. eksperimentirano je s modelima kao što su BERT, RoBERTa, XLNet i Audio Spectrogram Transformer. Također, istražene su mogućnosti modela Wav2Vec2 za automatsko prepoznavanje govora kojim su pripremljeni transkripti koje su zatim poslužile kao ulaz u tekstne modele. Pokazano je da se korištenjem kvalitetnih transkripata mogu postići točnosti detekcije iznad 90%. Konačno, predstavljena je detaljna diskusija rezultata, u kojoj su između ostaloga uspoređeni rezultati korištenih pristupa detekciji demencije, te je predstavljena jezgrovita analiza određenih pogreški.
Abstract (english)
Dementia is a serious disease that is usually chronic and progressive, while also being one of the leading causes of disability among the elderly population. Automatic detection of dementia is a difficult task. It includes the analysis of acoustic features of speech, linguistic features of transcripts and other similar features. This work explores the capabilities of deep learning models to accurately detect dementia from linguistic transcripts or directly from speech. The Pitt corpus dataset was used, which is a part of DementiaBank, a shared database intended for studying dementia and other similar diseases. Experiments were conducted with deep learning models such as BERT, RoBERTa, XLNet and Audio Spectrogram Transformer. Furthermore, Wav2Vec2 model was used for preparing transcripts that were later used as the input for text-based models, and its capabilities were assessed. It was shown that dementia detection using well-prepared speech transcripts can achieve accuracy rates of above 90%. Finally, a discussion on the results of the used approaches is given, and a brief analysis of common errors is presented.
Keywords
Keywords (english)
Languagecroatian
URN:NBNurn:nbn:hr:168:052863
Study programmeTitle: Computing
Study programme type: university
Study level: graduate
Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsClosed access
Terms of useLicence In copyright icon
Public note
Created on2023-01-14 09:29:54