prikaz prve stranice dokumenta Extending the recurrent neural network model for improved compositional modelling of text sequences
  Preuzmi
PDF 3.54 MB
disertacija
Extending the recurrent neural network model for improved compositional modelling of text sequences
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2022. urn:nbn:hr:168:818357
Tutek, Martin
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zavod za elektroniku, mikroelektroniku, računalne i inteligentne sustave

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Tutek, M. (2022). Extending the recurrent neural network model for improved compositional modelling of text sequences (Disertacija). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:818357

Tutek, Martin. "Extending the recurrent neural network model for improved compositional modelling of text sequences." Disertacija, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2022. https://urn.nsk.hr/urn:nbn:hr:168:818357

Tutek, Martin. "Extending the recurrent neural network model for improved compositional modelling of text sequences." Disertacija, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2022. https://urn.nsk.hr/urn:nbn:hr:168:818357

Tutek, M. (2022). 'Extending the recurrent neural network model for improved compositional modelling of text sequences', Disertacija, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 25.11.2024., https://urn.nsk.hr/urn:nbn:hr:168:818357

Tutek M. Extending the recurrent neural network model for improved compositional modelling of text sequences [Disertacija]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2022 [pristupljeno 25.11.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:818357

M. Tutek, "Extending the recurrent neural network model for improved compositional modelling of text sequences", Disertacija, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2022. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:818357

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:818357
Podaci o radu
NaslovExtending the recurrent neural network model for improved compositional modelling of text sequences
Naslov (hrvatski)Proširenje modela povratnih neuronskih mreža za poboljšano kompozicijsko modeliranje tekstnih sljedova
AutorMartin Tutek
MentorJan Šnajder (mentor)
Član povjerenstvaSiniša Šegvić (predsjednik povjerenstva)
Član povjerenstvaMarko Čupić (član povjerenstva)
Član povjerenstvaGoran Glavaš (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
(Zavod za elektroniku, mikroelektroniku, računalne i inteligentne sustave)
Zagreb
Datum i država obrane2022-07-22, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Računarstvo
Univerzalna decimalna klasifikacija
(UDC)		004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka
Sažetak
The thesis focuses on exploring extensions to the recurrent neural network (RNN) algorithm for natural language processing (NLP) in terms of improving its capabilities of semantic composition, investigating the possible benefits of leveraging multi-prototype word representations and improving its overall interpretability. While RNNs have received a strong competitor in form of the Transformer model, both approaches to processing natural language sequences possess their own set of issues. This thesis investigates methods of inducing sparsity in neural networks in order to learn shared sense representations and also tackles the problem of semantic composition in recurrent networks. The thesis introduces a novel approach for building recursive representations of language which is better suited to the hierarchical phrasal structure of language. The original scientific contributions of the thesis are: 1. Empirical analysis of the convergence of recurrent neural network algorithms on text sequence modeling tasks with respect to different input word representations; 2. An algorithm for learning word representations serving as input to text processing models based on contextualized word representations; 3. An extension of the recurrent neural network model for processing text sequences with mechanisms for processing linguistic phenomena such as polysemy, semantic composition, and coreference.
Sažetak (hrvatski)
Središnje pitanje ovog doktorskog rada su proširenja algoritma povratnih neuronskih mreža (RNN) za obradu prirodnog jezika (NLP) u vidu poboljšanja semantičke kompozicije, nadogradnje kroz korištenje višeprototipnih reprezentacija riječi i sveukupno poboljšanje interpretabilnosti algoritma. Usprkos modelu Transformer koji predstavlja snažnu konkurenciju povratnim neuronskim mrežama, oba pristupa analizi teksta posjeduju svoje nedostatke. U okviru doktorskog rada istraženi su pristupi ugrađivanja rijetkosti u neuronske mreže s ciljem učenja dijeljenih reprezentacija značenja te problem semantičke kompozicije u povratnim mrežama. Doktorski rad uvodi novi, rekurzivni pristup građenju reprezentacija teksta prikladniji za specifičnosti jezika. Znanstveni doprinosi ovog doktorskog rada su: 1. Empirijska analiza konvergencije povratnih neuronskih mreža na zadacima analize teksta u ovisnosti o različitim ulaznim reprezentacijama riječi; 2. Algoritam učenja reprezentacija riječi baziran na kontekstualiziranim reprezentacijama riječi, s ciljem njihovog korištenja kao ulaza modelima obrade teksta; 3. Proširenje algoritma povratnih neuronskih mreža za obradu prirodnog jezika s naglaskom na obradu jezičnih fenomena poput polisemije, semantičke kompozicije i koreferenciranja.
Ključne riječi
Ključne riječi (hrvatski)
Jezikengleski
URN:NBNurn:nbn:hr:168:818357
Datum promocije2022
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: poslijediplomski znanstveni (doktorski)
Akademski / stručni naziv: Doktor znanosti (dr. sc.)
Vrsta resursaTekst
Opsegix, 93 str. : graf. prikazi ; 30 cm. + CD-ROM.
Način izrade datotekeIzvorno digitalna
Prava pristupaOtvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Datum i vrijeme pohrane2022-11-24 09:36:13