Title Application of Computer Vision Methods in Veterinary Ophthalmology Title (croatian) Primjena metoda računalnog vida u veterinarskoj oftalmologiji Author Matija Burić Mentor Marina Ivašić-Kos (mentor)Committee member Ivo Ipšić (predsjednik povjerenstva)Committee member Miran Pobar (član povjerenstva)Committee member Darko Etinger (član povjerenstva)Granter University of Rijeka Defense date and country 2024-12-11, Croatia Scientific / art field, SOCIAL SCIENCES Universal decimal classificationUDC ) 004 - Computer science and technology. Computing. Data processing Abstract Ova disertacija primjenjuje tehnike računalnog vida, koristeći modele
dubokog učenja kao što su U-Net i GPT-4o, kako bi poboljšala dijagnostiku očnih
bolesti kod pasa u veterinarskoj oftalmologiji. Skup podataka DogEyeSeg4,
sastavljen od stvarnih kliničkih slika, služi kao temelj za treniranje modela.
Sintetičkim slikama smo dodatno proširili skup podataka kako bi povećali
robusnost i generalizaciju modela.
Koristili smo U-Net(RSD), treniran na DogEyeSeg4 i sintetičkim slikama
generiranim pomoću Stable Diffusion, za preciznu segmentaciju simptoma oka
kod pasa poput zamućenja rožnice, crvenila bjeloočnice, prekomjernog suzenja
i protruzije obojene mase u kutu oka. Kroz studiju također su trenirani individualni
binarni modeli segmentacije za svaki simptom, primjenjujući toplinske karte
korištenjem SSD detekcije oka kako bi smanjili lažno pozitivne rezultate. Iako su
ovi binarni modeli poboljšali izolaciju simptoma, suočili su se s izazovima
preklapajućih stanja i povećane složenosti. U konačnici, višeklasni U-Net(RSD)
model pružio je bolje ukupne performanse i učinkovitost.
GPT-4o je korišten za interpretiranje segmentiranih slika, nadmašivši
druge velike jezične modele (LLM) u generiranju točnih dijagnoza, posebno kada
su korištene maske segmentacije iz prilagođenog U-Net modela s ResNet
osnovom usporedo uz originalne slike. Unatoč obećavajućim rezultatima, studija
se i dalje suočava sa izazovima poput dijagnosticiranja složenih stanja, npr.
ulkusa rožnice. Nastavak istraživanja predlaže proširenje skupa podataka i
raspona simptoma, poboljšanje arhitektura modela te integraciju multimodalnih
podataka za sveobuhvatnu dijagnostiku. Ovi nalazi naglašavaju potencijal AI
alata da revolucioniraju veterinarsku oftalmologiju, nudeći preciznije i učinkovitije
dijagnostičke procese koji mogu unaprijediti skrb o životinjama.
Abstract (english) This dissertation applies computer vision techniques, leveraging deep
learning models such as U-Net and GPT-4o, to improve the diagnosis of canine
eye diseases in veterinary ophthalmology. The DogEyeSeg4 dataset of real-world
clinical images serves as the foundation for training. Synthetic images augmented
the dataset to enhance model robustness and generalization.
We used U-Net(RSD), trained on DogEyeSeg4 and synthetic images
generated using Stable Diffusion, for precise segmentation of canine eye
symptoms such as corneal cloudiness, scleral redness, excessive tearing, and
colored mass protrusion in the eye corner. The study also trained individual binary
segmentation models for each symptom, utilizing heatmaps from SSD eye
detection to reduce false positives. Although these binary models improved
symptom isolation, they faced challenges with overlapping conditions and
increased complexity. Ultimately, the multiclass U-Net(RSD) model provided
better overall performance and efficiency.
GPT-4o interpreted the segmented images, outperforming other Large
Language Models (LLMs) in generating accurate diagnostic suggestions,
particularly when using segmentation masks from the adjusted U-Net with a
ResNet backbone alongside the original images.
Despite promising results, challenges remain in diagnosing complex or
subtle conditions like corneal ulcers. Future work includes expanding the dataset
and symptom range, improving model architectures, and integrating multimodal
data for more holistic diagnostics. These findings underscore the potential for AIdriven tools to revolutionize veterinary ophthalmology, offering more accurate and
efficient diagnostic processes that can ultimately improve animal care
Keywords
veterinarska oftalmologija
računalni vid
U-Net
GPT-4o
segmentacija slike
duboko učenje
veterinarska dijagnostika
DogEyeSeg4
sintetička augmentacija slika
Keywords (english)
canine ophthalmology
computer vision
U-Net
GPT-4o
image segmentation
deep learning
veterinary diagnostics
DogEyeSeg4
synthetic image augmentation
Language english URN:NBN urn:nbn:hr:195:221262 Promotion 2024 Study programme Title: Informatics Type of resource Text File origin Born digital Access conditions Open access Terms of use Created on 2024-10-08 09:27:10
