prikaz prve stranice dokumenta Implementacija konverzacijskog agenta za personalizaciju nastavnih materijala pomoću jezičnih modela
  Download
PDF 12.53 MB
master's thesis
Implementacija konverzacijskog agenta za personalizaciju nastavnih materijala pomoću jezičnih modela
Pula: University of Pula, 2024. urn:nbn:hr:137:521487
Blašković, Luka
University of Pula
Faculty of Informatics in Pula

Institutional repository: Digital Repository Juraj Dobrila University of Pula

Cite this document

Blašković, L. (2024). Implementacija konverzacijskog agenta za personalizaciju nastavnih materijala pomoću jezičnih modela (Master's thesis). Pula: University of Pula. Retrieved from https://urn.nsk.hr/urn:nbn:hr:137:521487

Blašković, Luka. "Implementacija konverzacijskog agenta za personalizaciju nastavnih materijala pomoću jezičnih modela." Master's thesis, University of Pula, 2024. https://urn.nsk.hr/urn:nbn:hr:137:521487

Blašković, Luka. "Implementacija konverzacijskog agenta za personalizaciju nastavnih materijala pomoću jezičnih modela." Master's thesis, University of Pula, 2024. https://urn.nsk.hr/urn:nbn:hr:137:521487

Blašković, L. (2024). 'Implementacija konverzacijskog agenta za personalizaciju nastavnih materijala pomoću jezičnih modela', Master's thesis, University of Pula, accessed 07 October 2024, https://urn.nsk.hr/urn:nbn:hr:137:521487

Blašković L. Implementacija konverzacijskog agenta za personalizaciju nastavnih materijala pomoću jezičnih modela [Master's thesis]. Pula: University of Pula; 2024 [cited 2024 October 07] Available at: https://urn.nsk.hr/urn:nbn:hr:137:521487

L. Blašković, "Implementacija konverzacijskog agenta za personalizaciju nastavnih materijala pomoću jezičnih modela", Master's thesis, University of Pula, Pula, 2024. Available at: https://urn.nsk.hr/urn:nbn:hr:137:521487

Metadata
TitleImplementacija konverzacijskog agenta za personalizaciju nastavnih materijala pomoću jezičnih modela
Title (english)Implementation of a conversational agent for the personalization of teaching materials using language models
AuthorLuka Blašković
MentorNikola Tanković (mentor)
Committee memberDarko Etinger (predsjednik povjerenstva)
Committee memberNikola Tanković (član povjerenstva)
Committee memberSiniša Miličić (član povjerenstva)
GranterUniversity of Pula
(Faculty of Informatics in Pula)
Pula
Defense date and country2024-07-15, Croatia
Scientific / art field,
discipline and subdiscipline		SOCIAL SCIENCES
Information and Communication Sciences
Information Systems and Information Science
Abstract
Generativna umjetna inteligencija, temeljena na velikim jezičnim modelima (LLM), postaje sveprisutna u obrazovanju, omogućujući personalizaciju kroz generiranje prilagođenih odgovora i napredno rasuđivanje. No, ograničeno znanje LLM-ova dovodi do halucinacija, gdje modeli generiraju dezinformacije. RAG (Retrieval Augmented Generation) tehnike omogućuju pristup vanjskim izvorima podataka, povećavajući točnost odgovora. U ovom radu prezentiran je EduBot, konverzacijski agent koji koristi RAG module za pomoć studentima i nastavnicima. Evaluacija EduBota provedena je ručnom analizom 20 pitanja vezanih uz nastavne materijale i sveučilišne pravilnike, pokazujući značajna poboljšanja u točnosti odgovora. Komercijalna rješenja poput GPT-4 i Claude 3 Sonnet postigla su izvanredne performanse, dok su manji modeli poput Mistral, Gemma i Llama3 također pokazali značajan potencijal. Rad također obuhvaća pregled razvoja NLP-a i velikih jezičnih modela baziranih na transformer arhitekturi. Evaluacija je provedena ručnom analizom 20 akademskih pitanja te evaluacijom pomoću mjera vjernosti (FAITH) i relevantnosti odgovora (ANS\_REL), pokazujući zadovoljavajuće rezultate kod komercijalnih rješenja.
Abstract (english)
Generative artificial intelligence, based on large language models (LLM), is becoming ubiquitous in education, enabling personalization through generating tailored responses and advanced reasoning. However, the limited knowledge of LLMs leads to hallucinations, where models generate misinformation. Retrieval Augmented Generation (RAG) techniques enable access to external data sources, increasing the accuracy of responses. This paper presents EduBot, a conversational agent that uses RAG modules to assist students and teachers. The evaluation of EduBot was conducted through manual analysis of 20 questions related to teaching materials and university regulations, showing significant improvements in response accuracy. Commercial solutions such as GPT-4 and Claude 3 Sonnet achieved outstanding performance, while smaller models like Mistral, Gemma, and Llama3 also demonstrated significant potential. The paper also includes an overview of the development of NLP and large language models based on transformer architecture. The evaluation was carried out through manual analysis of 20 academic questions and evaluation using measures of fidelity (FAITH) and response relevance (ANS\_REL), showing satisfactory results for commercial solutions.
Keywords
Keywords (english)
Languagecroatian
URN:NBNurn:nbn:hr:137:521487
Study programmeTitle: Master in Informatics; specializations in: Master in Informatics, Master in Informatics, specialisation: teaching, Master in Informatics, Master in Informatics, specialisation: teaching
Course: Master in Informatics
Study programme type: university
Study level: graduate
Academic / professional title: magistar/magistra informatike (magistar/magistra informatike)
Type of resourceText
File originBorn digital
Access conditionsOpen access
Terms of useLicence In copyright icon
Created on2024-07-19 10:51:16