prikaz prve stranice dokumenta Varijante gradijentnog spusta u strojnom učenju s primjerima
  Download
PDF 829.04 KB
master's thesis
Varijante gradijentnog spusta u strojnom učenju s primjerima
Zagreb: University of Zagreb, Faculty of Science, 2023. urn:nbn:hr:217:216150
Bošnjak, Dorotea
University of Zagreb
Faculty of Science
Department of Mathematics

Institutional repository: Repository of the Faculty of Science

Cite this document

Bošnjak, D. (2023). Varijante gradijentnog spusta u strojnom učenju s primjerima (Master's thesis). Zagreb: University of Zagreb, Faculty of Science. Retrieved from https://urn.nsk.hr/urn:nbn:hr:217:216150

Bošnjak, Dorotea. "Varijante gradijentnog spusta u strojnom učenju s primjerima." Master's thesis, University of Zagreb, Faculty of Science, 2023. https://urn.nsk.hr/urn:nbn:hr:217:216150

Bošnjak, Dorotea. "Varijante gradijentnog spusta u strojnom učenju s primjerima." Master's thesis, University of Zagreb, Faculty of Science, 2023. https://urn.nsk.hr/urn:nbn:hr:217:216150

Bošnjak, D. (2023). 'Varijante gradijentnog spusta u strojnom učenju s primjerima', Master's thesis, University of Zagreb, Faculty of Science, accessed 08 December 2024, https://urn.nsk.hr/urn:nbn:hr:217:216150

Bošnjak D. Varijante gradijentnog spusta u strojnom učenju s primjerima [Master's thesis]. Zagreb: University of Zagreb, Faculty of Science; 2023 [cited 2024 December 08] Available at: https://urn.nsk.hr/urn:nbn:hr:217:216150

D. Bošnjak, "Varijante gradijentnog spusta u strojnom učenju s primjerima", Master's thesis, University of Zagreb, Faculty of Science, Zagreb, 2023. Available at: https://urn.nsk.hr/urn:nbn:hr:217:216150

Metadata
TitleVarijante gradijentnog spusta u strojnom učenju s primjerima
Title (english)Variants of gradient descent in machine learning with examples
AuthorDorotea Bošnjak
MentorNikola Sandrić (mentor)
Committee memberNikola Sandrić (predsjednik povjerenstva)
Committee memberMaja Resman (član povjerenstva)
Committee memberMarko Erceg (član povjerenstva)
Committee memberFilip Najman (član povjerenstva)
GranterUniversity of Zagreb
Faculty of Science
(Department of Mathematics)
Zagreb
Defense date and country2023-09-26, Croatia
Scientific / art field,
discipline and subdiscipline		NATURAL SCIENCES
Mathematics
Abstract
U ovom radu stječemo dublje razumijevanje gradijentnog spusta u strojnom i dubokom učenju, istraživajući različite varijante i optimizacije. U prvom poglavlju iznosimo ključne koncepte i teoreme vezane uz konvergenciju gradijentnog spusta i metoda ubrzanja. Nadalje, analiziramo varijante gradijentnog spusta koje se razlikuju po broju točaka iz skupa za treniranje koje se uzimaju u obzir u svakoj iteraciji. Iz njihove jednostavnosti proizlaze brojni izazovi i ograničenja, što nas potiče na istraživanje optimizacijskih algoritama. Za svaku od optimizacijskih metoda proučavamo teorijske temelje i opis koraka algoritma s ciljem stjecanja intuicije i razumijevanja njihovog funkcioniranja. Nakon teorijskog objašnjenja slijedi primjena varijanti i optimizacijskih algoritama na dva različita modela. Jedan je iz područja medicine, a drugi je iz genetike. Na taj način dobivamo uvid u praktičnu primjenu ovih metoda i njihovu implementaciju u Pythonu. Istražujemo njihovu učinkovitost na konkretnim modelima.
Abstract (english)
In this thesis, we aim to better understand gradient descent in machine and deep learning by exploring its different versions and improvements. In the first chapter, we cover essential concepts and theorems related to how gradient descent works and how it can be made faster. We also look at different variations of gradient descent that involve considering different amounts of data in each step. While studying these variations, we encounter various challenges and computer limitations that lead us to optimization techniques. For each of these optimization methods, we dive into the theory behind them and explain how they work step by step. Our goal is to help readers gain an intuitive understanding of these methods. After explaining the theory, we apply these optimization techniques to two different models. One in the medical field and the other in genetics. This allows us to see how these methods are used in practice and how they can be implemented using Python. We also evaluate how well they perform on real-world models.
Keywords
Keywords (english)
Languagecroatian
URN:NBNurn:nbn:hr:217:216150
Study programmeTitle: Mathematical Statistics
Study programme type: university
Study level: graduate
Academic / professional title: sveučilišni magistar matematike (sveučilišni magistar matematike)
Type of resourceText
File originBorn digital
Access conditionsOpen access
Terms of useLicence In copyright icon
Created on2024-01-30 11:59:55