prikaz prve stranice dokumenta Analiza i hibridizacija jednostavnog modela transformera za modularno zbrajanje koristeći mehanističku interpretabilnost
Rad nije dostupan
diplomski rad
Analiza i hibridizacija jednostavnog modela transformera za modularno zbrajanje koristeći mehanističku interpretabilnost
Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. urn:nbn:hr:168:458254
Nekić, Filip
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Institucijski repozitorij: Repozitorij FER-a

Citirajte ovaj rad

Nekić, F. (2024). Analiza i hibridizacija jednostavnog modela transformera za modularno zbrajanje koristeći mehanističku interpretabilnost (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:458254

Nekić, Filip. "Analiza i hibridizacija jednostavnog modela transformera za modularno zbrajanje koristeći mehanističku interpretabilnost." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. https://urn.nsk.hr/urn:nbn:hr:168:458254

Nekić, Filip. "Analiza i hibridizacija jednostavnog modela transformera za modularno zbrajanje koristeći mehanističku interpretabilnost." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2024. https://urn.nsk.hr/urn:nbn:hr:168:458254

Nekić, F. (2024). 'Analiza i hibridizacija jednostavnog modela transformera za modularno zbrajanje koristeći mehanističku interpretabilnost', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 26.12.2024., https://urn.nsk.hr/urn:nbn:hr:168:458254

Nekić F. Analiza i hibridizacija jednostavnog modela transformera za modularno zbrajanje koristeći mehanističku interpretabilnost [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2024 [pristupljeno 26.12.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:458254

F. Nekić, "Analiza i hibridizacija jednostavnog modela transformera za modularno zbrajanje koristeći mehanističku interpretabilnost", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2024. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:458254

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:458254
Podaci o radu
NaslovAnaliza i hibridizacija jednostavnog modela transformera za modularno zbrajanje koristeći mehanističku interpretabilnost
Naslov (engleski)Analysis and hibridization of a simple transformer model for modular addition using mechanistic interpretabilit
AutorFilip Nekić
MentorMario Brčić (mentor)
Član povjerenstvaMario Brčić (predsjednik povjerenstva)
Član povjerenstvaIvica Botički (član povjerenstva)
Član povjerenstvaDanijel Mlinarić (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2024-08-30, Hrvatska
Sažetak
Ovaj diplomski rad istražuje analizu i hibridizaciju jednostavnog modela transformera za modularno zbrajanje koristeći mehanističku interpretabilnost.Na početku opisujemo povijest, arhitekturu, način rada, glavne komponente te prednosti i nedostatke transformera. Zatim se bavimo mehanističkom interpretabilnošću, fokusirajući se na ključne obrasce i metode za razumijevanje ponašanja modela. Analiza otkriva da model koristi Fourierov algoritam za množenje, što nam daje uvid u unutrašnji rad modela. Nadalje, hibridizacijom određenih neuralnih komponenti postigli smo poboljšanje performansi modela. Ova saznanja doprinose boljem razumijevanju transformera i pokazuju kako ciljane modifikacije mogu optimizirati i performanse i interpretabilnost.
Sažetak (engleski)
This thesis explores the analysis and hybridization of a simple transformer model for modular addition using mechanistic interpretability. Initially, we provide an overview of the transformer history, architecture, key components, types and advantages and disadvantages. We then talk about mechanistic interpretability, focusing on key patterns and methods for understanding the behavior of the model. Additionally, we briefly explain hybridization in machine learning. Our analysis reveals that the model employs Fourier's multiplication algorithm, offering insights into its internal workings. Furthermore, by hybridizing certain neural components, we achieved improved model performance. These findings enhance our understanding of transformers and demonstrate how targeted modifications can optimize both performance and interpretability.
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:168:458254
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2024-10-12 21:40:30