prikaz prve stranice dokumenta Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju
  Download
PDF 1.46 MB
master's thesis
Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju
Osijek: Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek, 2024. urn:nbn:hr:200:596709
Zahirović, Bruno
Josip Juraj Strossmayer University of Osijek
Faculty of Electrical Engineering, Computer Science and Information Technology Osijek
Department of Computer Engineering and Automation
Chair of Automation and Robotics

Institutional repository: Faculty of Electrical Engineering, Computer Science and Information Technology Osijek

Cite this document

Zahirović, B. (2024). Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju (Master's thesis). Osijek: Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek. Retrieved from https://urn.nsk.hr/urn:nbn:hr:200:596709

Zahirović, Bruno. "Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju." Master's thesis, Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek, 2024. https://urn.nsk.hr/urn:nbn:hr:200:596709

Zahirović, Bruno. "Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju." Master's thesis, Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek, 2024. https://urn.nsk.hr/urn:nbn:hr:200:596709

Zahirović, B. (2024). 'Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju', Master's thesis, Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek, accessed 17 February 2025, https://urn.nsk.hr/urn:nbn:hr:200:596709

Zahirović B. Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju [Master's thesis]. Osijek: Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek; 2024 [cited 2025 February 17] Available at: https://urn.nsk.hr/urn:nbn:hr:200:596709

B. Zahirović, "Učenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju", Master's thesis, Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek, Osijek, 2024. Available at: https://urn.nsk.hr/urn:nbn:hr:200:596709

Metadata
TitleUčenje mobilnog agenta u simulacijskom okruženju pomoću podržanog učenja i primjena u stvarnom okruženju
Title (english)Training a mobile agent in simulation using reinforcement learning and application in real world
AuthorBruno Zahirović
MentorPetra Pejić (mentor)
MentorMatej Džijan (sumentor)
Committee memberPetra Pejić (predsjednik povjerenstva)
Committee memberRatko Grbić (član povjerenstva)
Committee memberRobert Cupec (član povjerenstva)
GranterJosip Juraj Strossmayer University of Osijek
Faculty of Electrical Engineering, Computer Science and Information Technology Osijek
(Department of Computer Engineering and Automation)
(Chair of Automation and Robotics)
Osijek
Defense date and country2024-09-12, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Computing
Artificial Intelligence
Abstract
U ovom diplomskom radu provedeno je treniranje agenta koji upravlja četveronožnim mobilnim robotom pomoću metode podržanog učenja, odnosno još specifičnije, PPO algoritmom. Odabrani četveronožni robot je robot tvrtke Petoi zvani Nybble. Agent je u obliku neuronske mreže prebačen na mikroupravljač čime je agentu omogućeno upravljanje 3D ispisanom verzijom robota. Agent ima mogućnost upravljanja osam nožnih zglobova robota i treniranjem je naučeno da ih pomiče na način da se robot kreće unaprijed. Za treniranje agenta korišteni su alati Isaac Sim i Isaac Gym tvrtke Nvidia, dok je za prevođenje neuronske mreže na mikroupravljač korišteno razvojno okruženje STM32Cube IDE tvrtke STMicroelectronics koristeći dodatak X-CUBE-AI. Spomenuto razvojno okruženje korišteno je i za razvijanje programskog koda u svrhu prilagođavanja ulaza i izlaza neuronske mreže te za pisanje programskog koda za upravljanje servo motorima robota, napisano u C programskom jeziku. Zbog ograničenja hardvera agent ulazne podatke potrebne za inferenciju neuronske mreže ne skuplja iz stvarnog okoliša, već su ulazni podaci prikupljeni iz simulacijskog okruženja i pohranjeni unutar memorije mikroupravljača. Rezultatima je pokazano kako je prijenos naučenog iz simulacije u stvarni svijet moguć čak i s jeftinim hardverom te iako rezultati nisu optimalni velikim dijelom je to krivnja samog hardvera.
Abstract (english)
This master's thesis addresses the problem of training an agent to control a quadruped robot using a machine learning method called reinforcement learning, and more specifically the PPO algorithm. The chosen quadruped robot model is Nybble by the Petoi company. After successful training, the agent was transferred onto a microcontroller in the form of a neural network to have the ability to control a 3D printed version of Nybble. The agent has the ability to control Nybble's eight leg joints and with training it learned how to move them in such a way to achieve forward movement. The agent was trained using the Isaac Sim and Isaac Gym tools by Nvidia, and the STM32Cube IDE by STMicroelectronics was used to translate the agent neural network to the microcontroller using the XCUBE- AI addon. The IDE was also used to develop the source code responsible for adapting the inputs and outputs of the neural network, as well as to write the drivers to control the Nybble's servo motors, all written in C programming language. Because of the hardware limitations, the agent doesn't collect actual environment data necessary for neural network inference while on the real-world model. The data has been previously collected in the simulation and stored into the microcontroller's internal memory. The results show that the simulation to reality transfer is possible even with cheap hardware, and even though the results aren't optimal, most of it can be blamed on the hardware itself.
Keywords
Keywords (english)
Languagecroatian
URN:NBNurn:nbn:hr:200:596709
Study programmeTitle: Graduate University Study Programme in Computer Engineering
Study programme type: university
Study level: graduate
Academic / professional title: sveučilišni/a magistar/magistra inženjer/inženjerka računarstva (sveučilišni/a magistar/magistra inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsOpen access
Terms of useLicence In copyright icon
Created on2024-09-19 07:28:13