Naslov Application of Computer Vision Methods in Veterinary Ophthalmology Naslov (hrvatski) Primjena metoda računalnog vida u veterinarskoj oftalmologiji Autor Matija Burić Mentor Marina Ivašić-Kos (mentor)Član povjerenstva Ivo Ipšić (predsjednik povjerenstva)Član povjerenstva Miran Pobar (član povjerenstva)Član povjerenstva Darko Etinger (član povjerenstva)Ustanova koja je dodijelila Sveučilište u Rijeci Datum i država obrane 2024-12-11, Hrvatska Znanstveno / umjetničko DRUŠTVENE ZNANOSTI Univerzalna decimalna klasifikacijaUDC ) 004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka Sažetak Ova disertacija primjenjuje tehnike računalnog vida, koristeći modele
dubokog učenja kao što su U-Net i GPT-4o, kako bi poboljšala dijagnostiku očnih
bolesti kod pasa u veterinarskoj oftalmologiji. Skup podataka DogEyeSeg4,
sastavljen od stvarnih kliničkih slika, služi kao temelj za treniranje modela.
Sintetičkim slikama smo dodatno proširili skup podataka kako bi povećali
robusnost i generalizaciju modela.
Koristili smo U-Net(RSD), treniran na DogEyeSeg4 i sintetičkim slikama
generiranim pomoću Stable Diffusion, za preciznu segmentaciju simptoma oka
kod pasa poput zamućenja rožnice, crvenila bjeloočnice, prekomjernog suzenja
i protruzije obojene mase u kutu oka. Kroz studiju također su trenirani individualni
binarni modeli segmentacije za svaki simptom, primjenjujući toplinske karte
korištenjem SSD detekcije oka kako bi smanjili lažno pozitivne rezultate. Iako su
ovi binarni modeli poboljšali izolaciju simptoma, suočili su se s izazovima
preklapajućih stanja i povećane složenosti. U konačnici, višeklasni U-Net(RSD)
model pružio je bolje ukupne performanse i učinkovitost.
GPT-4o je korišten za interpretiranje segmentiranih slika, nadmašivši
druge velike jezične modele (LLM) u generiranju točnih dijagnoza, posebno kada
su korištene maske segmentacije iz prilagođenog U-Net modela s ResNet
osnovom usporedo uz originalne slike. Unatoč obećavajućim rezultatima, studija
se i dalje suočava sa izazovima poput dijagnosticiranja složenih stanja, npr.
ulkusa rožnice. Nastavak istraživanja predlaže proširenje skupa podataka i
raspona simptoma, poboljšanje arhitektura modela te integraciju multimodalnih
podataka za sveobuhvatnu dijagnostiku. Ovi nalazi naglašavaju potencijal AI
alata da revolucioniraju veterinarsku oftalmologiju, nudeći preciznije i učinkovitije
dijagnostičke procese koji mogu unaprijediti skrb o životinjama.
Sažetak (engleski) This dissertation applies computer vision techniques, leveraging deep
learning models such as U-Net and GPT-4o, to improve the diagnosis of canine
eye diseases in veterinary ophthalmology. The DogEyeSeg4 dataset of real-world
clinical images serves as the foundation for training. Synthetic images augmented
the dataset to enhance model robustness and generalization.
We used U-Net(RSD), trained on DogEyeSeg4 and synthetic images
generated using Stable Diffusion, for precise segmentation of canine eye
symptoms such as corneal cloudiness, scleral redness, excessive tearing, and
colored mass protrusion in the eye corner. The study also trained individual binary
segmentation models for each symptom, utilizing heatmaps from SSD eye
detection to reduce false positives. Although these binary models improved
symptom isolation, they faced challenges with overlapping conditions and
increased complexity. Ultimately, the multiclass U-Net(RSD) model provided
better overall performance and efficiency.
GPT-4o interpreted the segmented images, outperforming other Large
Language Models (LLMs) in generating accurate diagnostic suggestions,
particularly when using segmentation masks from the adjusted U-Net with a
ResNet backbone alongside the original images.
Despite promising results, challenges remain in diagnosing complex or
subtle conditions like corneal ulcers. Future work includes expanding the dataset
and symptom range, improving model architectures, and integrating multimodal
data for more holistic diagnostics. These findings underscore the potential for AIdriven tools to revolutionize veterinary ophthalmology, offering more accurate and
efficient diagnostic processes that can ultimately improve animal care
Ključne riječi
veterinarska oftalmologija
računalni vid
U-Net
GPT-4o
segmentacija slike
duboko učenje
veterinarska dijagnostika
DogEyeSeg4
sintetička augmentacija slika
Ključne riječi (engleski)
canine ophthalmology
computer vision
U-Net
GPT-4o
image segmentation
deep learning
veterinary diagnostics
DogEyeSeg4
synthetic image augmentation
Jezik engleski URN:NBN urn:nbn:hr:195:221262 Datum promocije 2024 Studijski program Naziv: Informatika Vrsta resursa Tekst Način izrade datoteke Izvorno digitalna Prava pristupa Otvoreni pristup Uvjeti korištenja Datum i vrijeme pohrane 2024-10-08 09:27:10
