prikaz prve stranice dokumenta Otkrivanje privatnih informacija u jezičnim modelima -- napadi i obrane
No public access
master's thesis
Otkrivanje privatnih informacija u jezičnim modelima -- napadi i obrane
Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing, 2021. urn:nbn:hr:168:380605
Ćavar, Katarina
University of Zagreb
Faculty of Electrical Engineering and Computing

Institutional repository: FER Repository

Cite this document

Ćavar, K. (2021). Otkrivanje privatnih informacija u jezičnim modelima -- napadi i obrane (Master's thesis). Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing. Retrieved from https://urn.nsk.hr/urn:nbn:hr:168:380605

Ćavar, Katarina. "Otkrivanje privatnih informacija u jezičnim modelima -- napadi i obrane." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2021. https://urn.nsk.hr/urn:nbn:hr:168:380605

Ćavar, Katarina. "Otkrivanje privatnih informacija u jezičnim modelima -- napadi i obrane." Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, 2021. https://urn.nsk.hr/urn:nbn:hr:168:380605

Ćavar, K. (2021). 'Otkrivanje privatnih informacija u jezičnim modelima -- napadi i obrane', Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, accessed 27 December 2024, https://urn.nsk.hr/urn:nbn:hr:168:380605

Ćavar K. Otkrivanje privatnih informacija u jezičnim modelima -- napadi i obrane [Master's thesis]. Zagreb: University of Zagreb, Faculty of Electrical Engineering and Computing; 2021 [cited 2024 December 27] Available at: https://urn.nsk.hr/urn:nbn:hr:168:380605

K. Ćavar, "Otkrivanje privatnih informacija u jezičnim modelima -- napadi i obrane", Master's thesis, University of Zagreb, Faculty of Electrical Engineering and Computing, Zagreb, 2021. Available at: https://urn.nsk.hr/urn:nbn:hr:168:380605

Metadata
TitleOtkrivanje privatnih informacija u jezičnim modelima -- napadi i obrane
Title (english)Exposure of Private Data in Language Models -- Attacks and Defenses
AuthorKatarina Ćavar
MentorAnte Đerek (mentor)
Committee memberAnte Đerek (predsjednik povjerenstva)
Committee memberMarin Golub (član povjerenstva)
Committee memberGoran Delač (član povjerenstva)
GranterUniversity of Zagreb
Faculty of Electrical Engineering and Computing
Zagreb
Defense date and country2021-02-17, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Computing
Abstract
U posljednje vrijeme, sve se više jezičnih modela koristi u raznim kompanijama s raznim primjenama. Razvojem jezičnih modela, problem pamćenja osjetljivih podataka sve je veći, te je potrebno staviti veći fokus na sigurnosni aspekt jezičnih modela, to jest razvijati načine za sprječavanje jezičnih modela od učenja osjetljivih podataka. U ovom Diplomskom radu, cilj je bio pokušati spriječiti model od učenja osjetljivih podataka metodama maskiranja, odnosno maskiranjem osjetljivih podataka u setu podataka prije nego podaci uopće stignu do jezičnog modela. Metode maskiranja su predstavljene kao alternativa popularnoj strategiji diferencijalne privatnosti (differential privacy), koja se uobičajeno koristi u ovu svrhu. Da bismo bili sigurni da metode maskiranja rade, potrebno je provjeriti dva aspekta – jesmo li uspješno maskirali sve osjetljve podatke te jesmo li maskiranjem narušili uspješnost jezičnog modela. Kroz poglavlja, istraženo je mnogo različitih pristupa metodama maskiranja. Za svaku pojedinu metodu, priloženo je nekoliko primjera rada, te je priložena diskusija o konačnim rezultatima maskiranja te uspješnosti jezičnog modela nad podacima. Za svaku je metodu objašnjeno kako radi te što točno znače pojedine vrijednosti metrika jezičnog modela. Glavne metode za maskiranje obrađene ovim radom uključuju regularne izraze, prepoznavanje imenovanih entiteta te izuzimanje riječi koje ne spadaju u Engleski jezik.
Abstract (english)
Having many language models being trained and used in more and more companies and use cases, it is becoming increasingly important to be able to prevent these models from learning sensitive data from their inputs. In this Master’s thesis, the aim is to explore methods of masking sensitive data in datasets that are being fed to language models, as an alternative to the popular method of differential privacy, all while maintaining a satisfactory level of performance of the final model. In the chapters, many masking approaches are discussed and tested. For every approach, a detailed discussion is provided, explaining why each method behaves in a way that it does, what are the benefits, the drawbacks and what are the potential risks of each method. The main methods used for the task of masking are ones that involve regular expressions, Named Entity Recognition and recognizing English words.
Keywords
Keywords (english)
Languageenglish
URN:NBNurn:nbn:hr:168:380605
Study programmeTitle: Computing
Study programme type: university
Study level: graduate
Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
Type of resourceText
File originBorn digital
Access conditionsClosed access
Terms of useLicence In copyright icon
Public note
Created on2023-01-13 12:03:43