prikaz prve stranice dokumenta Mehanizam za usmjeravanje pogleda virtualnog agenta temeljem zvučnog i vizualnog ulaza
  Preuzmi
PDF 4.16 MB
diplomski rad
Mehanizam za usmjeravanje pogleda virtualnog agenta temeljem zvučnog i vizualnog ulaza
Zagreb: Sveučilište u Zagrebu, Fakultet strojarstva i brodogradnje, 2022. urn:nbn:hr:235:801522
Bakula, Slaven
Sveučilište u Zagrebu
Fakultet strojarstva i brodogradnje

Institucijski repozitorij: Repozitorij Fakulteta strojarstva i brodogradnje Sveučilišta u Zagrebu

Citirajte ovaj rad

Bakula, S. (2022). Mehanizam za usmjeravanje pogleda virtualnog agenta temeljem zvučnog i vizualnog ulaza (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet strojarstva i brodogradnje. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:235:801522

Bakula, Slaven. "Mehanizam za usmjeravanje pogleda virtualnog agenta temeljem zvučnog i vizualnog ulaza." Diplomski rad, Sveučilište u Zagrebu, Fakultet strojarstva i brodogradnje, 2022. https://urn.nsk.hr/urn:nbn:hr:235:801522

Bakula, Slaven. "Mehanizam za usmjeravanje pogleda virtualnog agenta temeljem zvučnog i vizualnog ulaza." Diplomski rad, Sveučilište u Zagrebu, Fakultet strojarstva i brodogradnje, 2022. https://urn.nsk.hr/urn:nbn:hr:235:801522

Bakula, S. (2022). 'Mehanizam za usmjeravanje pogleda virtualnog agenta temeljem zvučnog i vizualnog ulaza', Diplomski rad, Sveučilište u Zagrebu, Fakultet strojarstva i brodogradnje, citirano: 19.12.2024., https://urn.nsk.hr/urn:nbn:hr:235:801522

Bakula S. Mehanizam za usmjeravanje pogleda virtualnog agenta temeljem zvučnog i vizualnog ulaza [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet strojarstva i brodogradnje; 2022 [pristupljeno 19.12.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:235:801522

S. Bakula, "Mehanizam za usmjeravanje pogleda virtualnog agenta temeljem zvučnog i vizualnog ulaza", Diplomski rad, Sveučilište u Zagrebu, Fakultet strojarstva i brodogradnje, Zagreb, 2022. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:235:801522

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:235:801522
Podaci o radu
NaslovMehanizam za usmjeravanje pogleda virtualnog agenta temeljem zvučnog i vizualnog ulaza
Naslov (engleski)A mechanism for directing the virtual agent's gaze based on sound and visual input
AutorSlaven Bakula
MentorTomislav Stipančić (mentor)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet strojarstva i brodogradnje
Zagreb
Datum i država obrane2022-07-21, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Strojarstvo
Sažetak
U sklopu Laboratorija za projektiranje izradbenih i montažnih sustava implementiran je virtualni softverski agent PLEA koji koristi multi-modalni pristup prilikom zaključivanja o emocionalnom stanju osobe s kojom komunicira temeljen na zvučnim i vizualnim informacijama. Koristeći neverbalni oblik komunikacije, korisnici mogu tako ostvariti kontakt sa virtualnim agentom. Kako bi komunikacija virtualnog agenta bila što sličnija stvarnoj osobi potrebno je implementirati značajke svakodnevnog govora kao što je pogled u oči prilikom komuniciranja. U ovom radu opisano je stvaranje jednog takvog sustava koji može biti implementiran u postojeći PLEA virtualni agent. Rad opisuje kreiranje virtualnog agenta u Unreal Engine programu na udaljenom računalu. U programskom jeziku Python uz korištenje dostupnih biblioteka napisan je program za prepoznavanje lica te određivanje kuta njegovog položaja na području kamere. Preko socket komunikacije šalju se vrijednosti definirane pozicije u stvarnom vremenu i ostvaruje se reakcija virtualnog agenta. Uz vizualnu akviziciju, napravljen je i program koji koristi lokalizaciju izvora zvuka korištenjem LyraTD-MSC modula te se slanjem iznos kuta, također preko socket protokola, ostvaruje reakcija virtualnog agenta.
Sažetak (engleski)
As part of the Laboratory for the Design of Manufactured and Assembled Systems, a virtual software agent PLEA has been implemented, which uses a multimodal approach when inferring the emotional state of the person with whom it communicates based on sound and visual information. Using a non-verbal form of communication, users can make contact with a virtual agent. In order for the virtual agent's communication to be as similar as possible to a real person, it is necessary to implement features of everyday speech such as eye contact when communicating. This paper describes the creation of one such system that can be implemented in the existing PLEA virtual agent. The paper describes the creation of a virtual agent in the Unreal Engine program on a remote computer. A program for face recognition and determination of the angle of its position in the camera area was written in the Python programming language with the use of available libraries. Through socket communication, the values of the defined positions are sent in real time and the reaction of the virtual agent is realized. In addition to visual acquisition, a program that uses the localization of the sound source was created using the LyraTD-MSC module, and by sending the value of the angle, also via the socket protocol, the reaction of the virtual agent is realized.
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:235:801522
Studijski programNaziv: Strojarstvo; smjerovi: Konstrukcijski smjer, Procesno-energetski smjer, Proizvodni smjer, Inženjersko modeliranje i računalne simulacije, Brodostrojarski smjer, Industrijsko inženjerstvo i menadžment, Inženjerstvo materijala, Mehanika i robotika, Autonomni sustavi i računalna inteligencija
Smjer: Mehanika i robotika
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka strojarstva (mag. ing. mech.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaOtvoreni pristup
Datum isteka embarga: 2024-07-07
Uvjeti korištenjaIkona licence Imenovanje 4.0 međunarodna (CC BY 4.0)
Datum i vrijeme pohrane2022-07-07 07:53:53