prikaz prve stranice dokumenta Razmještaj osjetila korištenjem ojačanog učenja
Access restricted to students and staff of home institution
master's thesis
Razmještaj osjetila korištenjem ojačanog učenja
Rijeka: University of Rijeka, Faculty of Engineering, 2022. urn:nbn:hr:190:088862
Lipovac, Filip
University of Rijeka
Faculty of Engineering
Department of Computer Engineering
Section of Intelligent Computing Systems

Institutional repository: Repository of the University of Rijeka, Faculty of Engineering

Cite this document

Lipovac, F. (2022). Razmještaj osjetila korištenjem ojačanog učenja (Master's thesis). Rijeka: University of Rijeka, Faculty of Engineering. Retrieved from https://urn.nsk.hr/urn:nbn:hr:190:088862

Lipovac, Filip. "Razmještaj osjetila korištenjem ojačanog učenja." Master's thesis, University of Rijeka, Faculty of Engineering, 2022. https://urn.nsk.hr/urn:nbn:hr:190:088862

Lipovac, Filip. "Razmještaj osjetila korištenjem ojačanog učenja." Master's thesis, University of Rijeka, Faculty of Engineering, 2022. https://urn.nsk.hr/urn:nbn:hr:190:088862

Lipovac, F. (2022). 'Razmještaj osjetila korištenjem ojačanog učenja', Master's thesis, University of Rijeka, Faculty of Engineering, accessed 23 November 2024, https://urn.nsk.hr/urn:nbn:hr:190:088862

Lipovac F. Razmještaj osjetila korištenjem ojačanog učenja [Master's thesis]. Rijeka: University of Rijeka, Faculty of Engineering; 2022 [cited 2024 November 23] Available at: https://urn.nsk.hr/urn:nbn:hr:190:088862

F. Lipovac, "Razmještaj osjetila korištenjem ojačanog učenja", Master's thesis, University of Rijeka, Faculty of Engineering, Rijeka, 2022. Available at: https://urn.nsk.hr/urn:nbn:hr:190:088862

Metadata
TitleRazmještaj osjetila korištenjem ojačanog učenja
Title (english)Sensor placement using reinforcement learning
AuthorFilip Lipovac
MentorKristijan Lenac (mentor)
Committee memberKristijan Lenac (predsjednik povjerenstva)
Committee memberMladen Tomić (član povjerenstva)
Committee memberGoran Mauša (član povjerenstva)
GranterUniversity of Rijeka
Faculty of Engineering
(Department of Computer Engineering)
(Section of Intelligent Computing Systems)
Rijeka
Defense date and country2022-05-27, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Mechanical Engineering
Abstract
Ovaj rad predstavlja nastavak istraživanja u sklopu kojega je definiran generalni model prostora i osjetila te simulacijsko okruženje za provjeru metaheurističkih optimizacijskih algoritama za razmještaj osjetila u zatvorenom prostoru (Diego Sušanj, 2021). Simulacijsko okruženje i modeli prostora i osjetila prošireni su okruženjem za treniranje temeljenim na OpenAI Gym implementaciji, knjižnici za kreiranje generaliziranih modela okruženja za treniranje metoda ojačanog učenja. Predložena okruženja se koristi za ispitivanje metoda ojačanog učenja u kojima agent, matematički opisano usmjereno ili svesmjerno osjetilo, korištenjem niza opisanih akcija razvija politiku kojom maksimizira pokrivenost u simuliranom zatvorenom prostoru. Rad se fokusira na proširivanje modela prostora sa okruženjem za treniranje modela ojačanog učenja, pritom koristeći generalizirani model osjetila i prostora iz postojeće literature i na istraživanje i korištenje algoritama ojačanog učenja za primjenu na području razmještaja osjetila u dvodimenzionalnom okruženju. Odabrano je i ispitano pet algoritama dubokog ojačanog učenja koji su implementirani u Stable baselines knjižnici, od čega dvije implementacije koriste metodu glumac-kritičar dok su preostale tri prilagođene verzije algoritama dubokog Q-učenja. Treniranje je provedeno u unaprijed zadanom broju koraka gdje u svakom koraku agent izvodi akciju za koju dobije povratnu informaciju iz okruženja. Povratna informacija iz okruženja je kombinacija trenutne pozicije, orijentacije i postignute vidljivosti osjetila. Rezultati eksperimenta su pokazali da opisani pristup može razmjestiti oba tipa osjetila na pozicije s visokom pokrivenošću prostora te je uz prilagodbu parametra učenja pokazana mogućnost treniranja na jednom i korištenju treniranog modela u nepoznatom prostoru, unatoč malom broju koraka evaluacije i s ograničenim računalnim resursima. Završno, rezultati istraživanja pokazaju potencijal za nastavak istraživanja u području korištenja dubokog ojačanog učenja za rješavanje problema razmještaja osjetila, ali su uočeni i nedostaci u trenutnoj implementaciji u kojoj je jedna od najvećih ograničenosti izostanak podrške za više-agentni način rada.
Abstract (english)
The paper is a continuation of a research in which was created a model for enclosed environment and sensors together with a simulator for testing metaheuristic algorithms for optimal distribution of sensors (Diego Sušanj, 2021). Created simulator and sensor and environment model were expanded with a new training environment based on OpenAI Gym implementation, a framework for defining generalized training environment for reinforcement learning methods. Proposed environments are then used to train and test reinforcement learning methods in which an agent, a mathematically described isotropic or directional sensor, uses a series of described actions to develop a policy that maximizes area coverage in a simulated enclosed environments. The paper focuses on creating an environment for reinforcement learning training, using knowledge and generalized model of senses and environments from existing literature and research and then applying reinforcement learning algorithms for application in spatial distribution of sensors. Research explores and uses five deep reinforcement learning algorithms implemented in Stable baselines library, out of which two implemetations use actor-critic approach and the other three are modified versions of Deep Q-Network algorithms. Training was done in a predetermined number of steps, where in each step the agent carries out an action for which he receives feedback from the environment. Feedback is a combination of a current location, orientation and sensors’ visibility. Experimental results have shown that the described approach can position both types of sensors in positions with high area coverage and a model trained in one environment, with fine tuned learning parameters, could be used on unknown environment despite a small number of evaluation steps and with limited computing resources. Finally, the research results have shown the potential for further research in the field of sensory deployment applications but also elevated a problem with current implementation in which one of the biggest limitations is the lack of a support for multi-agent approach.
Keywords
Keywords (english)
Languagecroatian
URN:NBNurn:nbn:hr:190:088862
Study programmeTitle: Computer Engineering
Study programme type: university
Study level: graduate
Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsAccess restricted to students and staff of home institution
Terms of useLicence In copyright icon
Created on2022-06-07 08:59:26