Tijekom istraživanja, prikupit će se dva skupa podataka: 1. COSPER – indoor 2. COSPER – storage space 3. HoDoor 4. HoDoor 2 Podatkovni skup COSPER – indoor: 3D sintetički podatkovni skup generiran na temelju dva postojeća podatkovna skupa, SUN RGB-D [1] i ShapeNet [2]. Generirat će se neobojeni oblaci točaka s pripadajućim anotacijama za 10 klasa (kada, krevet, polica, stolica, radni stol, komoda, noćni ormarić, kauč, stol, zahodska školjka). Generirani podatkovni skup se sastoji od 20000 scena i zauzima približno 73 GB. Podatkovni skup COSPER – storage space: Ovaj podatkovni skup sastoji se od dvije vrste podataka: 1. Računalno generiran skup podataka 2. Skup podataka snimljen RGB-D kamerom a. originalni zapisi b. računalno poravnate scene s dominantom horizontalnom ravninom. Podaci iz kategorije 1 i 2b se sastoje od datoteka spremljenih u npy i npz obliku. Scene namještaja za skladištenje u unutrašnjim prostorima pohranjene su u obliku oblaka točaka spremljenih u npz formatu. Svaka scena ima pridruženu npy numeričku datoteku koja sadrži referentne podatke graničnih okvira prostora za skladištenje za pripadni oblak točaka. Dodatno svaka scena sadržava i npz datoteku koja sadrži informacije o glasovima potrebnim za treniranje neuronske mreže VoteNet. Dodatno, u kategoriji 2 scene unutrašnjih prostora su spremljene i u obliku mreže trokuta u ply formatu. Podaci u kategoriji 2b sadrže i dubinske slike scena s označenom dominantom horizontalnom ravninom u png formatu te rotacijsku i translacijsku matricu u npy formatu potrebnu za transformaciju mreže trokuta iz kategorije 2a u 2b. Procjenjujemo da će za kategoriju 1 biti potrebno otprilike 11 GB, a za kategoriju 2 otprilike 4,5 GB prostora Podatkovni skup HoDoor: Skup podataka u RGB-D formatu ormara i ladica u složenim scenama s označenim omeđujućim okvirima i stvarnim informacijama o načinu otvaranja jednih vrata ili jedne ladice (guranje, povlačenje i rukohvat). Slike su snimljene pomoću Intel RealSense L515 LiDAR dubinske kamere i pružene su iz iste perspektive s i bez ljudske ruke kako bi se demonstriralo otvaranje. Podatkovni skup HoDoor 2: Skup podataka u RGB formatu. Sastoji se dijela slika bez ljudske ruke iz HoDoor podatkovnog skupa. Na slikama su označeni granični okviri svih ladica i vrata prisutnih na slici. Granični okviri su poravnati s plohama na kojima se ladice i vrata nalaze.