prikaz prve stranice dokumenta Web scraping-automatizirano prikupljanje podataka
  Preuzmi
PDF 2.1 MB
završni rad
Web scraping-automatizirano prikupljanje podataka
Rijeka: Sveučilište u Rijeci, Tehnički fakultet, 2023. urn:nbn:hr:190:964873
Jerčinović, Kristijan
Sveučilište u Rijeci
Tehnički fakultet
Služba studentske evidencije

Institucijski repozitorij: Repozitorij Tehničkog fakulteta u Rijeci

Citirajte ovaj rad

Jerčinović, K. (2023). Web scraping-automatizirano prikupljanje podataka (Završni rad). Rijeka: Sveučilište u Rijeci, Tehnički fakultet. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:190:964873

Jerčinović, Kristijan. "Web scraping-automatizirano prikupljanje podataka." Završni rad, Sveučilište u Rijeci, Tehnički fakultet, 2023. https://urn.nsk.hr/urn:nbn:hr:190:964873

Jerčinović, Kristijan. "Web scraping-automatizirano prikupljanje podataka." Završni rad, Sveučilište u Rijeci, Tehnički fakultet, 2023. https://urn.nsk.hr/urn:nbn:hr:190:964873

Jerčinović, K. (2023). 'Web scraping-automatizirano prikupljanje podataka', Završni rad, Sveučilište u Rijeci, Tehnički fakultet, citirano: 24.12.2024., https://urn.nsk.hr/urn:nbn:hr:190:964873

Jerčinović K. Web scraping-automatizirano prikupljanje podataka [Završni rad]. Rijeka: Sveučilište u Rijeci, Tehnički fakultet; 2023 [pristupljeno 24.12.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:190:964873

K. Jerčinović, "Web scraping-automatizirano prikupljanje podataka", Završni rad, Sveučilište u Rijeci, Tehnički fakultet, Rijeka, 2023. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:190:964873

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:190:964873
Podaci o radu
NaslovWeb scraping-automatizirano prikupljanje podataka
Naslov (engleski)Web scraping-automated data collection
AutorKristijan Jerčinović
MentorMladen Tomić (mentor)
Član povjerenstvaMiroslav Joler (predsjednik povjerenstva)
Član povjerenstvaMladen Tomić (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Rijeci
Tehnički fakultet
(Služba studentske evidencije)
Rijeka
Datum i država obrane2023-07-12, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Računarstvo
Sažetak
Web struganje je tehnika prikupljanja podataka s internet stranica te spremanje tih podataka za daljnje korištenje. Može se koristiti ručno ili automatizirano, iako ručni način više nitko ne koristi, jer se sve više pokušava razviti potpuno automatizirani način struganja korištenjem umjetne inteligencije. Automatizacija olakšava struganje omogućujući jednostavno raščlanjivanje HTML koda stranice i dohvaćanje podataka koje želimo, jednostavan pristup API-u te konstantno mijenjanje IP adresa, prilikom korištenja proxy rotacije, tijekom zaobilaženja ograničenja od stranica. Struganje ima široku primjenu od korištenja za uspoređivanje cijena na tržištu, praćenje vremenskih prognoza, dohvaćanja objava, komentara, rasprava, lokacija na društvenim mrežama, pa do razvoja modela strojnog učenja. Također, treba voditi računa koji alat za struganje koristimo, jer ako želimo strugati podatke s dinamičkih web stranica, onda ćemo koristiti Selenium, Puppeteer ili Beautiful Soup sa Selenium-om od besplatnih alata te Octoparse od alata koji se plaćaju. S druge strane, ako su nam u cilju samo statičke stranice možemo koristiti Beautiful Soup ili Scrapy, vodeći računa o količini podataka koje želimo strugati. U ovom radu pokazali smo karakteristike pojedinih tehnika struganja i dali primjere kako izgledaju u praksi. Također, demonstrirali smo na konkretnim primjerima upotrebu alata za struganje, kao što su Beautiful Soup, Selenium te nešto malo o Scrapy-ju.
Sažetak (engleski)
Web scraping is a technique of collecting data from the internet and saving it for further use. It can be used manually or automatically, although the manual mode is no longer used, because the weight nowadays is to make web scraping fully automated using artificial intelligence. Automation makes scraping more productive by making HTML parsing and the retrieving of the data we want fast and easy, making APIs more accessable and constantly changing IP addresses when using proxy rotation, while bypassing site restrictions. Scraping has a wide range of applications from using it to compare prices, tracking weather forecasts, retrieving posts, comments, discussions, locations on social media and even developing machine learning models. Also, we should take care which scraping tool we use, because if we want to scrape data from dynamic web sites, then we will use Selenium, Puppeteer or Beautiful Soup with Selenium from the free tools and Octoparse from paid ones. On the other hand, if our goal is to scrape data only from static sites, we can use Beautiful Soup or Scrapy, taking into account the amount of data we want to scrape. In this work, we have shown the characteristics of certain scraping techniques and given examples of how they look in practical use. Also, we demonstrated on examples the use of scraping tools such as Beautiful Soup, Selenium and a little bit of Scrapy.
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:190:964873
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: preddiplomski
Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ. bacc. ing. comp)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaOtvoreni pristup
Uvjeti korištenjaIkona licence Imenovanje 4.0 međunarodna (CC BY 4.0)
Datum i vrijeme pohrane2023-07-18 16:04:56