prikaz prve stranice dokumenta Morfološka normalizacija tekstova na hrvatskome jeziku za dubinsku analizu i pretraživanje informacija
  Download
PDF 1.01 MB
doctoral thesis
Morfološka normalizacija tekstova na hrvatskome jeziku za dubinsku analizu i pretraživanje informacija
Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing, 2010. urn:nbn:hr:168:935194
Šnajder, Jan
University of Zagreb
Faculty of Electrical Engineering and Computing

Institutional repository: FER Repository

Cite this document

Šnajder, J. (2010). Morfološka normalizacija tekstova na hrvatskome jeziku za dubinsku analizu i pretraživanje informacija (Doctoral thesis). Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing. Retrieved from https://urn.nsk.hr/urn:nbn:hr:168:935194

Šnajder, Jan. "Morfološka normalizacija tekstova na hrvatskome jeziku za dubinsku analizu i pretraživanje informacija." Doctoral thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2010. https://urn.nsk.hr/urn:nbn:hr:168:935194

Šnajder, Jan. "Morfološka normalizacija tekstova na hrvatskome jeziku za dubinsku analizu i pretraživanje informacija." Doctoral thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2010. https://urn.nsk.hr/urn:nbn:hr:168:935194

Šnajder, J. (2010). 'Morfološka normalizacija tekstova na hrvatskome jeziku za dubinsku analizu i pretraživanje informacija', Doctoral thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, accessed 06 May 2024, https://urn.nsk.hr/urn:nbn:hr:168:935194

Šnajder J. Morfološka normalizacija tekstova na hrvatskome jeziku za dubinsku analizu i pretraživanje informacija [Doctoral thesis]. Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing; 2010 [cited 2024 May 06] Available at: https://urn.nsk.hr/urn:nbn:hr:168:935194

J. Šnajder, "Morfološka normalizacija tekstova na hrvatskome jeziku za dubinsku analizu i pretraživanje informacija", Doctoral thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, Zagreb, 2010. Available at: https://urn.nsk.hr/urn:nbn:hr:168:935194

Metadata
TitleMorfološka normalizacija tekstova na hrvatskome jeziku za dubinsku analizu i pretraživanje informacija
Title (english)Morphological Normalization of Texts in Croatian Language for Text Mining and Information Retrieval
AuthorJan Šnajder
MentorBojana Dalbelo Bašić (mentor)
MentorMarko Tadić (komentor)
Committee memberLeo Budin (predsjednik povjerenstva)
Committee memberNikola Bogunović (član povjerenstva)
GranterUniversity of Zagreb
Faculty of Electrical Engineering and Computing
Zagreb
Defense date and country2010-06-01, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Computing
Universal decimal classification
(UDC)		004 - Computer science and technology. Computing. Data processing
Abstract
Riječi u tekstu pojavljuju se u različitim morfološkim varijantama, odnosno flektivnim i derivacijskim oblicima. Morfološka varijacija ima negativan utjecaj na djelotvornost sustava za pretraživanje informacija i dubinsku analizu teksta, naročito kod morfološki složenih jezika kao što je hrvatski. Negativne utjecaje morfološke varijacije moguće je ukloniti primjenom postupaka morfološke normalizacije, odnosno sažimanjem različitih morfoloških varijanti jedne ili više riječi na jedan reprezentativni oblik. U okviru ovog rada razvijen je postupak za flektivnu i flektivno-derivacijsku normalizaciju tekstova na hrvatskome jeziku temeljen na morfološkom leksikonu. Kako bi se zaobišao problem ograničenosti opsega leksikona te visoke cijene njegove izgradnje, razvijen je postupak za automatsku akviziciju flektivnoga leksikona iz neoznačenog korpusa. Akvizicija i normalizacija temelje se na računalnom generativno-redukcijskome modelu morfologije hrvatskoga jezika kojim je obuhvaćena fleksija i sufiksalna tvorba imenica, glagola i pridjeva. Model je inspiriran konceptima funkcijske programske paradigme, napose funkcijama višega reda kao načinu apstrakcije flektivnih i tvorbenih pravila. Provedeno je iscrpno eksperimentalno vrednovanje kojim je utvrđeno da postupak doseže visoku intrinzičnu kakvoću normalizacije, na flektivnoj razini usporedivu s onom ručno sastavljenog leksikona. Pristup opisan u ovome radu usredotočen je na hrvatski jezik, ali je primjenjiv i na druge, morfološki slične jezike.
Abstract (english)
Due to language morphology, words appear in text in various inflectional and derivational forms. Morphological variation has been shown to negatively affect the performance of most information retrieval and text mining systems, especially in the case of morphologically complex languages such as Croatian. Morphological variation may be reduced by performing morphological normalisation, i.e., the conflation of morphological variants of a word into a single representative form. This thesis describes a lexicon-based approach to morphological normalization that addresses both inflectional and derivational variation. To eliminate the problem of limited lexicon coverage and the immense effort required to compile a lexicon by hand, a procedure for acquiring automatically an inflectional morphological lexicon from raw corpora is devised. To this end, a computational model of Croatian inflectional and derivation morphology has been developed. The model, which is both generative and reductive, is inspired by the functional programming paradigm and makes use of higher-order functions to abstract inflectional and word-formation rules. Detailed experimental evaluation revealed that the developed procedure achieves high normalization quality, which at the inflectional level is comparable to the hand-crafted gold standard. Although the focus of this thesis is on Croatian language, the approach is general enough to be also applicable to other morphologically similar languages.
Keywords
Keywords (english)
Languagecroatian
URN:NBNurn:nbn:hr:168:935194
Promotion2010
Study programmeTitle: Computer Science
Study programme type: university
Study level: postgraduate
Academic / professional title: Doktor znanosti (Doktor znanosti)
Type of resourceText
Extentix, 184 str. : graf. prikazi
File originBorn digital
Access conditionsOpen access
Terms of useLicence In copyright icon
Created on2024-03-20 08:46:45