| Abstract | Videosignal snimljen modernim uređajima zbog svoje veličine nije pogodan za prijenos ili pohranu na neki od medija. Zbog toga je u postupku kodiranja potrebno smanjiti njegovu veličinu, što se može učiniti primjenom efikasnih postupaka kompresije, ali i smanjenjem prostorne i/ili vremenske rezolucije. Paralelno s razvojem uređaja za snimanje razvili su se i
uređaji za prikazivanje videosignala (pametni telefoni, tableti, prijenosna računala) koji, neovisno o veličini zaslona, mogu prikazivati video signal visoke rezolucije. Zbog svega navedenog sve više je primjera kod kojih je nakon dekodiranja potrebno povećati prostornu i/ili vremensku rezoluciju videosignala. Kod povećanja vremenske rezolucije interpolacijom slika u nekomprimiranom videosignalu, što je problem kojim se bavi ova disertacija, cjelokupna pogreška prilikom interpolacije nastaje zbog pokreta objekata i promjene sadržaja. Primjenom teorijskog modela videosignala analiziran je utjecaj vremenske udaljenosti, D, između slika koje se koriste za interpolaciju te utjecaj prostornih i vremenskih značajki videosignala na pogrešku interpolacije primjenom postupaka jednosmjernih procjena pokreta unaprijed i unazad. Predložen je i
teorijski model za postupak interpolacije usrednjavanjem, FA, te je izveden izraz za autokorelacijsku funkciju pogreške interpolacije. Oba modela pokazuju dobro poklapanje teorijskih i empirijskih rezultata za sekvence s malim TI, te približno linearan porast varijance pogreške i MSE s porastom vrijednosti D. Također, teorijski i empirijski rezultati pokazali su
da za sekvence s malom vremenskom aktivnošću jednostavni postupak usrednjavanja, FA, može ostvariti podjednaku (u nekim slučajevima i manju) pogrešku od znatno složenijeg postupka koji koristi procjenu pokreta, što je iskorišteno u predloženom algoritmu za interpolaciju u svrhu smanjenja njegove složenosti. Utvrđeno je i da su u slučaju male vrijednosti parametra
vremenske aktivnosti, TIt, srednje vrijednosti vektora pomaka za pojedinu sliku vrlo male, što navodi na zaključak da je malim parametrom vremenske aktivnosti, TI, predstavljen mali pokret između dvije slike. Analizom utjecaja veličine bloka (za koji se računa vektor pomaka) na pogrešku procjene vektora pomaka utvrđeno je da je pogreška najmanja za blok veličine 16x16
elemenata slike, a najveća za blok veličine 4x4 elementa slike. Budući da je prirodno kretanje objekata nelinearno, posebice u slučaju brzih pokreta, i često s promjenjivom brzinom, analiziran je utjecaj tih dviju pojava na točnost vektora pomaka te je pokazano je da nelinearnost pokreta unosi znatno manju pogrešku u odnosu na promjenu brzine. U slučaju kada pokret nije
brz, uvođenje promjenjive brzine gibanja objekata ne povećava zamjetno točnost procjene, pa se s ciljem izbjegavanja povećanja složenosti algoritma predloženog u disertaciji koristi procjena pokreta uz pretpostavku konstantne brzine kretanja objekata. Na temelju provedene analize prostorno-vremenskih značajki videosignala i njihovog utjecaja na pogrešku interpolacije, u okviru ove disertacije predložen je algoritam za adaptivnu vremensku interpolaciju slika zasnovan na prostorno-vremenskim značajkama videosignala. Njegovom se primjenom zadržava visoka razina kvalitete interpoliranih slika uz značajno
smanjenje složenosti jer je na temelju provedenih analiza prostorno-vremenskih značajki videosignala uvedena adaptivnost u ovisnosti o trenutnoj vrijednosti parametra vremenske aktivnosti, TIt. U slučaju kada je parametar vremenske aktivnosti između slika manji ili jednak prethodno određenoj vrijednosti praga, δ, radi se interpolacija korištenjem FA metode, a u
suprotnom slučaju interpolacija se zasniva na procjeni pokreta. U slučajevima kada je TIt > δ,rade se odvojene jednosmjerne procjene unaprijed i unazad kombinacijom procjene pokreta za blokove (BMA) i optičkog toka. Kako bi se osigurala mala složenost, u predloženom algoritmu preciznost procjene vektora pomaka na razini manjoj od jednog elementa slike
ostvaruje se razvojem u Taylorov red. U svrhu zaglađivanja vektora pomaka, polje vektora pomaka filtrira se medijan filtrom. Kompenzacijom pokreta dobiju se dvije slike prediktora čijom se težinskom sumom dobije konačna interpolirana slika. Predloženi algoritam uspoređen je s dva postojeća algoritma, koji su među najboljima u dostupnoj literaturi, po složenosti postupka i kvaliteti interpolirane slike. Rezultati su pokazali da predloženi algoritam ima najbolji omjer složenosti postupka i kvalitete interpolirane slike. |
| Abstract (english) | Video signal recorded using modern devices is not suitable for transmission or storage on some media. Therefore it is necessary to decrease its size during the encoding process. It can be done by decreasing spatial and/or temporal resolution. There is also an a rapid developement of video displaying devices (smart phones tablets, laptops..) which,
independently of sreen size, can display high resolution video signal. Therefore it is necessary, during the decoding process, to increase spatial and/or temporal resolution of video signal. Since in the focus of this research frame interpolation is done on uncompressed videosignal, interpolation error is caused by object motion and the content change. Using theoretical model an influence of the temporal distance, D, and spatio-temporal features of the videosignal on
interpolation error using unidirectional forward and backward motion estimation is analyzed. Besides that, the theoretical model for interpolation using frame averaging, FA, is proposed and the formula for the autocorrelation function of the interpolation error is derived. Both models perform good matching of theoretical and empirical results for sequences with low TI and aproximatively linear increasing of error variance and MSE with increasing of D. Moreover, theoretical and empirical models perofrmed that in case of low TI value simple FA method can achieve similar interpolation error in comparison to more complex MCFI, which is used for complexity reduction in the proposed algorithm. It is determined that in case of low TI value mean values of MV are also small, so it can be concluded that low TI value indicates
small motion between two frames. Analyses of the influence of the block size on the motion estimation error performed that error is the lowest for the biggest size (16x16 pixels), and the highest for the smallest size (4x4 pixels). Since the natural motion of objects is non-linar and with the variable velocity, the influence of these two factors on the MV accuracy is analized, and the resuslts performed that non-linear motion causes siginificantly lower error in
comparison to velocity change. When the motion is not fast, introducing of variable velocity does not increase significantly accuracy of motion estimation, so the velocitiy is considered as constant in order to reduce the coplexity of the proposed algorithm. According to described analyses, an algorithm for adaptive frame interpolation based on spatio-temporal features of the videosignal is proposed. Using the proposed algorithm high quality of interpolated images
is maintained, while the complexity is reduced since, based on analyses of spatio-temporal features, the adaptivity criterion depending on TI parametar value is introduced. When the parametar of the temporal activity between frame is lower then predefined threshold value, δ, interpolation is done using FA method, while in contrary MCFI is done. If TIt > δ, separated
forward and backward unidirectional motion estimation is done as the combination of the BMA and optical flow. In order to ensure low complexity, motion estimation accuracy on the level lower than 1 pixel is achieved using Taylor series. In order to smooth MVs, the median filter is applied on MVF. Usnig MCFI two predictors of interpolated frame are given and their
weighting sum is used for creating final interpolated frame. The proposed algorithm is compared with algorithms from the literature which show good performances, from the aspect of interpolated image quality and algorithm complexity. The results showed that the proposed algorithm performed the best trade of between interpolated image quality and algorithm
complexity. |
