prikaz prve stranice dokumenta Implementacija i analiza arhitekture Mamba za neuronske jezične modele
Rad nije dostupan
diplomski rad
Implementacija i analiza arhitekture Mamba za neuronske jezične modele
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. urn:nbn:hr:168:591000
Krsnik, Lea
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Krsnik, L. (2024). Implementacija i analiza arhitekture Mamba za neuronske jezične modele (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:591000

Krsnik, Lea. "Implementacija i analiza arhitekture Mamba za neuronske jezične modele." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. https://urn.nsk.hr/urn:nbn:hr:168:591000

Krsnik, Lea. "Implementacija i analiza arhitekture Mamba za neuronske jezične modele." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. https://urn.nsk.hr/urn:nbn:hr:168:591000

Krsnik, L. (2024). 'Implementacija i analiza arhitekture Mamba za neuronske jezične modele', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 25.11.2024., https://urn.nsk.hr/urn:nbn:hr:168:591000

Krsnik L. Implementacija i analiza arhitekture Mamba za neuronske jezične modele [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2024 [pristupljeno 25.11.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:591000

L. Krsnik, "Implementacija i analiza arhitekture Mamba za neuronske jezične modele", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2024. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:591000

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:591000
Podaci o radu
NaslovImplementacija i analiza arhitekture Mamba za neuronske jezične modele
Naslov (engleski)Implementation and analysis of the Mamba architecture for neural language models
AutorLea Krsnik
MentorJan Šnajder (mentor)
Član povjerenstvaJan Šnajder (predsjednik povjerenstva)
Član povjerenstvaSiniša Šegvić (član povjerenstva)
Član povjerenstvaMarko Čupić (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2024-07-04, Hrvatska
Sažetak
Duboko učenje proteklih godina ostvaruje iznimne rezultate, pogotovo u području obrade prirodnog jezika kroz uporabu velikih jezičnih modela. Fokus istraživačke zajednice većinski je bio usmjeren na arhitekturu Transformatora kao temelj velikih jezičnih modela. Međutim, nedavna inovacija, arhitektura Mamba, pokazala je potencijal za postizanje usporedivih rezultata s boljom vremenskom i prostornom složenošću. U ovom radu, detaljno su razmotreni matematički temelji Mambe te optimizacijske tehnike za izvedbu na grafičkim procesorima. Za potrebe rada, arhitektura Mambe implementirana je u programskom okviru PyTorch te je nad tom implementacijom provedena evaluacija na različitim zadatcima obrade prirodnog jezika.
Sažetak (engleski)
In recent years, deep learning has achieved remarkable results, especially in the field of natural language processing through the use of large language models. The research community has primarily focused on the Transformer architecture as the foundation of large language models. However, a recent innovation, the Mamba architecture, has shown the potential to achieve comparable results with better temporal and spatial complexity. This thesis provides a detailed examination of the mathematical foundations of Mamba and optimization techniques for implementation on graphics processors. For the purposes of this thesis, the Mamba architecture was implemented in the PyTorch framework, and evaluations were conducted on various natural language processing tasks.
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:168:591000
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2024-10-12 21:14:09