| Sažetak | There is an increasing focus on the effectiveness of mental health promotion and prevention interventions worldwide. Many studies have shown that mental health promotion and prevention interventions can be effective in reducing mental, emotional and behavioural problems (Botvin et al., 2006; Hawkins et al., 2005; Hosman et al., 2004; Tobler and Stratton, 1997). This doctoral study was conducted with the intention to provide deeper understanding of mental health promotion and prevention programs’ effectiveness in the Croatian context. A study was a part of project “Preffi – Quality Assurance in the County of Istria”, initiated by the University of Zagreb, Faculty of Education and Rehabilitation Sciences and the Department of Health and Social Services in the County of Istria. The main assumption of the project was that incorporation of evidence-based principles is crucial in improving the quality and effectiveness of mental health promotion and prevention practice. The study included 24 mental health promotion and prevention programs proposed by NGOs and other institutions from Istria and financed by the Department. All programs were assessed with the quality assessment instrument Preffi 2.0. The programs were divided into two groups, experimental and control. The program’s managers and deliverers from the experimental group were involved in the Training for Prevention intervention. In order to assess whether the Training had an impact on programs’ effectiveness, an outcome evaluation of programs from both conditions was conducted.
The results of the study on metric characteristic of Preffi 2.0 have shown that the instrument has a high content validity and that it is reliable in assessing the quality of program proposals. Concerning the predictive validity of Preffi 2.0, the results of a correlation analysis have shown that there is no significant correlation between total scores on Preffi 2.0 and the effect sizes of programs. However, it was found that there is a moderate, positive linear relationship between two Preffi clusters and effects of programs.
A method of meta-analysis has shown that programs whose managers and deliverers were involved in the Training did not achieve significantly higher scores on effectiveness compared to those programs which were not involved in the Training. However, the analysis has shown that the Training for prevention influence on the programs’ effect sizes is marginally significant at the level of 10% (p=.11). Program managers and deliverers involved in the Training achieved significantly higher scores on three Preffi clusters after the Training, in comparison with programs which were not involved in the Training.
VII
Assessment of written program proposals with the Preffi 2.0 instrument has offered an insight into each program’s quality level and into the average quality level of 24 programs from the County of Istria. The results suggest that the general quality level of assessed program proposals from the County of Istria is rather low. Existing strengths and weaknesses of assessed programs are detected and described.
Based on the study results, recommendations for Preffi 2.0 and Training for Prevention improvement and future studies are given. Perspectives on Preffi 2.0 and Training for Prevention in improving prevention capacities in Croatia are also elaborated in this doctoral dissertation. |
| Sažetak (hrvatski) | Znanstvenici diljem svijeta sve su više zainteresirani za temu učinkovitosti programa promocije mentalnog zdravlja i prevencije mentalnih, emocionalnih i ponašajnih problema. Brojna istraživanja ukazuje na to da kvalitetno osmišljene preventivne intervencije mogu značajno utjecati na smanjenje problema i poremećaja u ponašanju kao što su nasilničko i delinkventno ponašanje (Botvin i sur., 2006), pijenje alkohola i korištenje droga (Tobler i Stratton, 1997) ili rizično seksualno ponašanje (Kirby i sur. 1994). Provedene meta-analize su pokazale kako postoje značajne razlike između preventivnih programa s obzirom na učinkovitost te su uz pomoć takvih istraživanja utvrđeni čimbenici koji utječu na učinkovitost programa nazvani prediktorima, odnosno moderatorima učinkovitosti (Stice i sur., 2007; Hosman, 2005; Jane Llopis, Hosman, Jenkins i sur., 2003; Brown i sur., 2000; Hosman i Engels, 1999; Kok i sur., 1997). Istraživanja su ukazala kako je za unaprjeđenje kvalitete programa promocije mentalnog zdravlja i prevencije, u njih nužno integrirati znanja o principima učinkovitih intervencija.
U posljednje je vrijeme i u Hrvatskoj sve izraženija svijest znanstvenika i praktičara o važnosti i učinkovitosti znanstveno utemeljenih intervencija tog tipa. Istraživanje koje će biti prikazano u ovoj disertaciji provedeno je unutar projekta "Preffi - osiguranje kvalitete u Istarskoj županiji" nastalog u suradnji znanstvenika sa Sveučilišta u Zagrebu, Edukacijsko-rehabilitacijskog fakulteta te stručnjaka iz Upravnog odjela za zdravstvo i socijalnu zaštitu Istarske županije. Upravni odjel svake godine u okviru natječaja za Programe javnih potreba dodjeljuje financijska sredstva nevladinim organizacijama za programe prevencije poremećaja u ponašanju djece i mladih te liječenja ovisnosti. Za ostvarivanje financijske potpore projekti trebaju zadovoljiti kriterije razvijene od strane Upravnog odjela. Tijekom dugogodišnje suradnje Fakulteta i Upravnog odjela primijećena je potreba za povećanjem kvalitete preventivnih intervencija u Istarskoj županiji te je upravo s toga pokrenut navedeni projekt. Glavni pretpostavka projekta bila je da je za unaprjeđenje programa promocije mentalnog zdravlja i prevencije nužno integrirati znanja o indikatorima i principima učinkovitih intervencija u postojeće i nove programe te u kriterije za odabir i financiranje programa.
U istraživanje su bila uključena 24 programa promocije mentalnog zdravlja i prevencije mentalnih, emocionalnih i ponašajnih problema financirana od strane Upravnog odjela za zdravstvo i socijalnu skrb Istarske županije ili nekih drugih institucija u Istarskoj županiji u 2011. godini. Tijekom prosinca 2010. i siječnja 2011. godine tri nezavisna procjenjivača su procijenila kvalitetu 24 pisana prijedloga programa uz pomoć Preffi 2.0 instrumenta
IX
(Molleman, 2005). Riječ je o nizozemskom instrumentu koji se sastoji od 121 čestice koje reflektiraju čimbenike koji se smatraju neophodnima za kvalitetu i učinkovitost programa. Čestice čine 39 indikatora kvalitete, učinkovitosti programa koji su grupirani u 8 Preffi klastera; (1) Kontekstualni uvjeti i provedivost intervencije, (2) Analiza problema, (3) Determinante problema, ponašanja i okruženja, (4) Ciljna skupina, (5) Ciljevi intervencije, (6) Razvoj intervencije, (7) Implementacija i (8) Evaluacija. Nakon što su projektne prijave programa procijenjene uz pomoć Preffi 2.0 instrumenta, programi su raspoređeni u eksperimentalnu i kontrolnu skupinu te je svaka skupina sadržavala 12 programa. Pri svrstavanju programa u skupine korištena je metoda izjednačenih parova s obzirom na: vrstu programa, problem na koji je program usmjeren, broj korisnika u programu, broj godina tijekom kojih je program već bio financiran te duljinu trajanja provedbe programa. Važan čimbenik izjednačavanja skupina bili su i rezultati procjene programa Preffi 2.0 instrumentom.
Voditelji organizacija i provoditelji programa iz eksperimentalne skupine su tijekom veljače i ožujka 2011. godine bili uključeni u Trening za prevenciju, intervenciju osmišljenu za potrebe ove doktorske studije. Trening se sastoji od 35 sati edukacije o principima učinkovitosti programa promocije mentalnog zdravlja i prevencije mentalnih, emocionalnih i ponašajnih problema. Podijeljen je u pet tematskih cjelina: (1) Znanstveno-utemeljena promocija mentalnog zdravlja i prevencija, (2) Logički model i kvaliteta, (3) Implementacija, (4) Evaluacija te (5) Zagovaranje. Kako bi se utvrdilo da li je Trening utjecao na učinkovitost programa onih organizacija koje su sudjelovale u Treningu, provedena je evaluacija učinkovitosti programa iz obje skupine. Korišten je pre-test i post-test istraživački dizajn te je za svaki program pripremljena upitnička baterija, ovisno o ciljevima programa. Programi su implementirani tijekom 2011. godine. Isto tako, kako bi se ispitalo da li je Trening utjecao na kvalitetu pisanih prijedloga programa, sudionici iz obje skupine su zamoljeni da napišu nove programske prijedloge koji su zatim procijenjeni Preffi 2.0 instrumentom tijekom prosinca 2011. i siječnja 2012. godine.
Prvi istraživački zadatak ovog doktorskog rada bio je ispitati metrijske karakteristike Preffi 2.0 instrumenta - sadržajnu valjanost, pouzdanost i prediktivnu valjanost. Sadržajnu valjanost je procjenjivalo 10 stručnjaka iz područja promocije mentalnog zdravlja i prevencije. Procijenjeno je da je Preffi 2.0 sadržajno valjan instrument, odnosno da njegove čestice dobro reflektiraju teoriju vezanu uz prediktore učinkovitosti i značajne su za procjenu prisutnosti i kvalitete prediktora učinkovitosti u nekom programu. Isto tako, utvrđeno je kako među svim Preffi 2.0 klasterima postoje visoke i pozitivne korelacije što je i očekivano s
X
obzirom da svi Preffi klasteri reflektiraju generalan koncept kvalitete programa. U odnosu na pouzdanost, utvrđeno je da je tijekom obje primjene Preffi instrumenta na pisanim prijedlozima programa, pouzdanost instrumenta bila visoka. Međutim, treba naglasiti kako su pri tom pogreške mjerenja bile više od dopuštenih vrijednosti. Rezultat ukazuje da se adekvatna preciznost mjerenja Preffi instrumentom za sada ne može postići uz pomoć samo tri procjenjivača. Istraživanje je također pokazalo da je najveći izvor varijance za ukupan Preffi 2.0 rezultat u obje procjene upravo prijedlog programa. Što se tiče prediktivne valjanosti Preffi instrumenta, rezultati parcijalne korelacijske su pokazali kako ne postoji značajna korelacija između ukupnog Preffi 2.0 rezultata te veličine efekta programa. Međutim, analiza korelacije između rezultata na pojedinim Preffi klasterima i učinaka programa je pokazala da postoji umjerena, pozitivna korelacija između trećeg Preffi klastera „Determinante problema, ponašanja i okruženja“ i petog klastera „Ciljevi intervencije“ te veličina efekata programa.
Drugi istraživački zadatak bio je ispitati utjecaj Treninga za prevenciju na učinkovitost i kvalitetu programa. Kako bi se ispitala razlika u veličinama efekata programa koje su provodili provoditelji koji su sudjelovali u Treningu za prevenciju i onih koji nisu sudjelovali u Treningu, provedena je metoda meta-analize. Rezultati su pokazali kako programi uključeni u Trening postižu veće veličine efekata od programa koji nisu bili uključeni u Trening, ali da ta razlika nije statistički značajna. Provedena je i analiza moderatora veličine efekata koja je pokazala kako je Trening za prevenciju marginalno značajan na razini od 10% (p = 0,11). Što se tiče utjecaja Treninga za prevenciju na kvalitetu programa, analiza varijance za ponovljena mjerenja je pokazala da nema razlike između eksperimentalne i kontrolne skupine na ukupnom Preffi 2.0 rezultatu. Međutim, rezultati su pokazali da su programi koji su bili uključeni u Trening postigli značajno bolje rezultate na tri Preffi klastera u odnosu na programe čiji predlagatelji i provoditelji nisu sudjelovali u Treningu. Navedeno se odnosi na klastere: (3) Determinante problema, ponašanja i okruženja, (5) Ciljevi intervencije te (8) Evaluacija.
Treći istraživački zadatak bio je identificirati kvalitetu, odnosno snage i slabosti programa promocije mentalnog zdravlja i prevencije iz Istarske županije koji su bili uključeni u istraživanje. Uvid u to je pružila prva procjena prijedloga programa Preffi 2.0 instrumentom u prosincu 2010. i siječnju 2011. godine. Prosječni rezultat za 24 procijenjena programa na Preffi 2.0 instrumentu je iznosio 5.68 (mogući raspon Preffi 2.0 rezultata je od vrijednosti 3.33 do 10). Ova prosječna razina kvalitete svih procijenjenih programa je ispod teoretske sredine rezultata koja iznosi 6.65. Rezultat upućuje na to da je opća razina kvalitete
XI
procijenjenih prijedloga programa prilično niska. Samo 4 od 24 procijenjena programa je dostiglo Preffi 2.0 rezultat viši od teoretske sredine. Analiza rezultata na pojedinim Preffi 2.0 klasterima je pokazala kako je kvaliteta sedam od osam Preffi 2.0 klastera niža od teoretske sredine. Samo je klaster „Ciljevi intervencije“ postigao prosječni rezultat veći da teoretske sredine.
S obzirom na sve dobivene rezultate osmišljene su preporuke za unaprjeđenje Preffi 2.0 instrumenta. Jedan od zaključaka je da bi prije procjene projektnih prijedloga s instrumentom, procjenjivači za to trebali biti posebno pripremljeni i educirani. Također je utvrđeno da bi pojedine Preffi čestice trebale biti jasnije formulirane te da bi uz sam instrument bili korisno pripremiti rječnik pojmova iz područja prevencijske znanosti koji se pojavljuju u instrumentu. Isto tako je zaključeno da se procjena prijedloga programa Preffi 2.0 instrumentom ne bi trebala temeljiti samo na pisanim prijedlozima već da bi bilo korisno provesti i intervjue s predlagateljima programa kako bi se osigurao uvid u sve karakteristike programa potrebne za procjenu Preffi instrumentom. Također se ističe kako bi se u slučajevima kada nekoliko procjenjivača procjenjuje isti prijedlog programa uz pomoć Preffi 2.0 instrumenta, konačni Preffi 2.0 rezultati trebali definirati kroz diskusiju i konsenzus svih procjenjivača. Predlaže se i priprema digitalne verzije Preffi 2.0 instrumenta koja bi olakšala njegovu primjenu.
Što se tiče preporuke budućih istraživanja vezanih uz Preffi 2.0, predlaže se istraživanje iskustva praktičara u korištenju instrumenta te njihove percepcije korisnosti i razumljivosti instrumenta. Također bi bilo korisno u jednom od budućih istraživanja provesti faktorsku analizu instrumenta. Predlaže se i ponovna studija pouzdanosti instrumenta na većem uzorku prijedloga programa kao i ponovljena studija njegove prediktivne valjanosti.
U odnosu na Trening za prevenciju i s obzirom na dobivene rezultate istraživanja, utvrđeno je da bi tijekom Treninga posebna pozornost trebala biti dana temama poput kontekstualni uvjeti i provedivost intervencije, analiza problema, determinante problema, ponašanja i okruženja, ciljna skupina, ciljevi intervencije, razvoj intervencije te implementacija. Također je utvrđeno kako bi bilo korisno pripremiti skriptu sa sadržajem Treninga te kako bi tijekom Treninga sudionici trebali biti što više uključeni u praktične aktivnosti. Individualne konzultacije sa sudionicima Treninga o kvaliteti njihovih programa bi također doprinijele učinku Treninga na kvalitetu i učinkovitost programa. Potvrda o uspješnom sudjelovanju u Treningu bi se trebala osigurati svim sudionicima koji su sudjelovali u cijelom Treningu i koji su na kraju treninga unaprijedili prijedloge svojih programa. Vjeruje se kako bi se na taj način sudionike Treninga motiviralo na aktivnu uključenost i usvajanje znanja. Primijećena je i potreba da se razviju dva modula Treninga.
XII
Jedan modul bi bio usmjeren na usvajanje osnovnih znanja iz područja promocije mentalnog zdravlja i prevencije dok bi napredni modul bio namijenjen onima koji već imaju iskustvo s razvijanjem i provođenjem programa u navedenom području. Također se ističe kako bi sadržaj Treninga trebalo kontinuirano usklađivati i nadograđivati sukladno novim znanstvenim spoznajama iz područja učinkovitosti programa promocije mentalnog zdravlja i prevencije.
Zaključno je istaknuto kako Preffi 2.0 instrument i Trening za prevenciju predstavljaju značajan potencijal za unaprjeđenje programa promocije mentalnog zdravlja i prevencije u Hrvatskoj. Također je naglašeno kako je to unaprjeđenje dugotrajan proces koji zahtjeva suradnju znanstvenika, praktičara i donositelja odluka na lokalnim razinama kao i na nacionalnoj razini. Tek višerazinskim i sustavnim ulaganjem u razvoj znanstveno-utemeljenih programa promocije mentalnog zdravlja i prevencije je moguće očekivati značajne, pozitivne ishode i na javnozdravstvenoj razini. |
