prikaz prve stranice dokumenta Troslojna perceptronska mreža s ReLU aktivacijskom funkcijom
  Download
PDF 2.73 MB
undergraduate thesis
Troslojna perceptronska mreža s ReLU aktivacijskom funkcijom
Zagreb: University of Zagreb, Faculty of Mechanical Engineering and Naval Architecture, 2024. urn:nbn:hr:235:558425
Mačečević, Dominik
University of Zagreb
Faculty of Mechanical Engineering and Naval Architecture

Institutional repository: Repository of Faculty of Mechanical Engineering and Naval Architecture University of Zagreb

Cite this document

Mačečević, D. (2024). Troslojna perceptronska mreža s ReLU aktivacijskom funkcijom (Undergraduate thesis). Zagreb: University of Zagreb, Faculty of Mechanical Engineering and Naval Architecture. Retrieved from https://urn.nsk.hr/urn:nbn:hr:235:558425

Mačečević, Dominik. "Troslojna perceptronska mreža s ReLU aktivacijskom funkcijom." Undergraduate thesis, University of Zagreb, Faculty of Mechanical Engineering and Naval Architecture, 2024. https://urn.nsk.hr/urn:nbn:hr:235:558425

Mačečević, Dominik. "Troslojna perceptronska mreža s ReLU aktivacijskom funkcijom." Undergraduate thesis, University of Zagreb, Faculty of Mechanical Engineering and Naval Architecture, 2024. https://urn.nsk.hr/urn:nbn:hr:235:558425

Mačečević, D. (2024). 'Troslojna perceptronska mreža s ReLU aktivacijskom funkcijom', Undergraduate thesis, University of Zagreb, Faculty of Mechanical Engineering and Naval Architecture, accessed 01 August 2024, https://urn.nsk.hr/urn:nbn:hr:235:558425

Mačečević D. Troslojna perceptronska mreža s ReLU aktivacijskom funkcijom [Undergraduate thesis]. Zagreb: University of Zagreb, Faculty of Mechanical Engineering and Naval Architecture; 2024 [cited 2024 August 01] Available at: https://urn.nsk.hr/urn:nbn:hr:235:558425

D. Mačečević, "Troslojna perceptronska mreža s ReLU aktivacijskom funkcijom", Undergraduate thesis, University of Zagreb, Faculty of Mechanical Engineering and Naval Architecture, Zagreb, 2024. Available at: https://urn.nsk.hr/urn:nbn:hr:235:558425

Metadata
TitleTroslojna perceptronska mreža s ReLU aktivacijskom funkcijom
Title (english)A three-layered perceptron neural network with ReLU activation function
AuthorDominik Mačečević
MentorDanko Brezak (mentor)
GranterUniversity of Zagreb
Faculty of Mechanical Engineering and Naval Architecture
Zagreb
Defense date and country2024-02-28, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Mechanical Engineering
Abstract
Za aktivaciju neurona u višeslojnoj perceptronskoj neuronskoj mreži se najčešće koriste sigmoidalna aktivacijska funkcija i hiperbolni tangens, a kod dubokih i konvolucijskih neuronskih mreža ReLU i njezina aproksimacija Softplus aktivacijska funkcija. ReLU funkcija je uvedena za rješavanje problema nestajućeg gradijenta koji se javlja u neuronskim mrežama s više saktivenih slojeva. U ovome je radu provedena usporedba navedenih aktivacijskih funkcija na problemima identifikacije dinamičkih sustava i predviđanju Mackey-Glass vremenske serije s ciljem ispitivanja svojstava ReLU aktivacijske funkcije kod neuronskih mreža s jednim krivenim slojem. Analiza je pokazala kako ReLU aktivacijska funkcija daje bolje odzive od sigmoidalne i tangens-hiperbolne aktivacijske funkcije u rješavanju problema identifikacije identifikacije dinamičkih sustava, a lošije odzive na problemima predviđanja nelinearnog kaotičnog sustava. Jednostavna implementacija i optimizacija ReLU funkcije čini ju dobrim kandidatom za rješavanje problema identifikacije dinamičkih sustava.
Abstract (english)
For the activation of neurons in multilayer perceptron neural networks, sigmoidal and hyperbolic-tangent activation functions are most commonly used, while for deep and convolutional neural networks, ReLU and its approximation, the Softplus activation functions, are often used. The ReLU function was introduced to solve the vanishing gradient problem that occurs in deep neural networks. In this work, an analysis of activation functions was conducted on the identification of dynamic systems and prediction of the Mackey-Glass time series in order to examine the properties of the ReLU activation function in neural networks with a single hidden layer. It was shown that the ReLU activation function produces better responses than sigmoidal and hyperbolic-tangent activation functions in the identification of dynamic systems, but it performs worse in predicting a nonlinear chaotic system. The simplicity of implementing and optimizing of the ReLU function makes it a good candidate for solving the identification of dynamic systems.
Keywords
Keywords (english)
Languagecroatian
URN:NBNurn:nbn:hr:235:558425
Study programmeTitle: Mechanical Engineering
Study programme type: university
Study level: undergraduate
Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka strojarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka strojarstva)
Type of resourceText
File originBorn digital
Access conditionsOpen access
Terms of useLicence In copyright icon
Created on2024-02-26 07:20:31