Spoor 2: Beleid & monitoring
Project 2.5. Capaciteit als voorwaarde voor evaluaties op het beleidsveld, het beleidsdomein en het domeinoverschrijdende niveau (2005-2006)

• Spoor & andere deelprojecten
• Stuurgroep
• Situering
• Onderzoeksvragen
• Relevantie
• Onderzoeksmethode
• Valorisatie
• Onderzoekers

SITUERING

De Vlaamse Overheid is bezig haar beleidscapaciteit verder te professionaliseren. Na investeringen in de strategische dimensie (Strategische planning, APS-afdeling, …) en de informatiedimensie (uitbouw van diverse MIS- en BIS-systemen), is men sinds enige tijd de evaluatie-dimensie aan het versterken. Via een aantal initiatieven wil de Vlaamse overheid meer ex-ante en ex-post evaluaties invoeren in de Vlaamse beleidsvoering. De voorziene invoering van de RIA (al dan niet in lichte vorm), de RIE en het beleidseffectenrapport (in kader van het nieuwe comptabiliteitsdecreet) zal de vraag naar outcome-evaluaties alleszins doen toenemen, hetgeen zowel op het niveau van het beleidsveld, als op het niveau van het beleidsdomein en zelfs op het beleidsdomeinoverschrijdende niveau tot investeringen in structuren, procedures, mensen, competenties en methoden & technieken zal moeten leiden.

De institutionalisering van beleidsevaluatie bevindt zich in Vlaanderen echter nog in een embryonaal stadium menen Varone & Jacob (VTOM, 2004, 4, p. 31). Dat blijkt ook uit het onderzoek van het Rekenhof naar subsidies in de Vlaamse Gemeenschap en zelfs ons eigen survey-onderzoek bij de Vlaamse beleidselite uit MVG, VOI’s en kabinetten. Kort samengevat kunnen we op basis van onderstaande cijfers immers besluiten dat de respondenten uit de Vlaamse beleidselite -ofschoon overtuigd van het nut aan beleidsevaluatie- oordelen dat de Vlaamse beleidsmaatregelen te weinig geëvalueerd worden en dat de Vlaamse Overheid op heden onvoldoende in staat is om zelf evaluatie-onderzoek uit te voeren.

Kortom, hoewel de vraag naar beleidsevaluaties zal toenemen, lijkt het bestaande aanbod niet in staat om deze vraag op te vangen. Vandaar dat de Vlaamse Overheid de komende jaren een capaciteitsinvestering zal moeten doen inzake beleidsevaluatie (zowel ex post, als ex ante). Dit project wil via gericht internationaal verkennend onderzoek en ondersteunende analyses in/van de Vlaamse Overheid, die capaciteitsinvesteringen mee ondersteunen. Meer concreet zal worden stilgestaan bij het organisatorische en methodologische aspect van de institutionalisering van de evaluatiefunctie op drie niveaus: beleidsveld, beleidsdomein en beleidsdomein-overschrijdend. Het onderzoek wil op deze wijze anticiperen op komende uitdagingen voor de Vlaamse Overheid en wil via relevante verkenningen en analyses de transitieprocessen faciliteren en versnellen.

ONDERZOEKSVRAGEN

De onderzoeksvragen situeren zich dus zowel op het organisatorische (evaluatiestructuren, -procedures, competenties), als op het methodologische vlak en kunnen tegelijk voor de drie analyseniveaus opgesomd worden.

Organisatorisch:

• Welke structuren (afdelingen) & procedures heeft men inzake ex-ante en ex-post evaluatie uitgebouwd?
• Hoe werken die afdelingen & procedures?
• Hoe heeft men de nodige evaluatie-competentie(s) uitgebouwd?
• Hoe verhouden ex-ante en ex-post-evaluatie zich tot elkaar?
• Welke invloed heeft de introductie van een beleidseffectenrapport op de aanwezige beleidscapaciteit gehad?
• Welke zijn de grootste organisatorische uitdagingen/noden op de verschillende analyseniveaus?

Methodologisch

• Welke evaluatiemethoden en -technieken gebruikt men?
• Welke zijn de grootste methodologische uitdagingen/noden op de verschillende analyseniveaus?

RELEVANTIE

De Vlaamse overheid is bezig haar beleidscapaciteit verder te professionaliseren. Na investeringen in de strategische dimensie en de informatiedimensie, is men sinds enige tijd de evaluatie-dimensie aan het versterken. Via een aantal initiatieven wil de Vlaamse overheid meer ex-ante en ex-post evaluaties invoeren in de Vlaamse beleidsvoering. De voorziene invoering van de RIA (Reguleringsimpactanalyse), de RIE (Reguleringsimpactevaluatie) en het beleidseffectenrapport zal de vraag naar outcome-evaluaties alleszins doen toenemen, hetgeen zowel op het niveau van het beleidsveld, als op het niveau van het beleidsdomein en zelfs op het beleidsdomeinoverschrijdende niveau tot investeringen in structuren, procedures, mensen, competenties en methoden & technieken zal moeten leiden. Dit project wil via gericht internationaal verkennend onderzoek en ondersteunende analyses in/van de Vlaamse overheid, die capaciteitsinvesteringen mee ondersteunen.

ONDERZOEKSMETHODE

Het onderzoek zal verricht worden via gerichte internationale verkenningen en via een analyse van evaluatiegebruiken in de Vlaamse Overheid. Voor beide onderzoekspistes zal gebruik gemaakt worden van internet-screenings, documentenanalyses, case-studies (met beleidsmaatregelen en instrumenten- of maatregelmixen als case), plaatsbezoeken en interviews met de betrokken sleutelactoren. We zouden in overleg met de stuurgroep een aantal te analyseren beleidsvelden, -domeinen en domeinoverschrijdende ‘ruimtes’ willen selecteren. De te screenen landen zouden zeker Nederland (met het beleidseffectenrapport en de interdepartementale beleidsvisitaties), Canada (onder meer relevant omwille van de ‘program reviews’) en het Verenigd Koninkrijk (onder meer relevant omwille van de ‘landscape reviews’) omvatten.

VALORISATIE

Het onderzoek moet leiden tot nieuwe en meervoudige kennisinzichten:

• Vooreerst moet het onderzoek duidelijk maken hoe het met de Vlaamse beleidsevaluatiecapaciteit is gesteld? Welke methoden en technieken gebruikt men? Hoe heeft men de evaluatiedimensie organisatorisch en procedureel verankerd? Welke zijn de grootste actuele kennisnoden inzake beleidsevaluatie?
• Daarnaast moet het onderzoek leiden tot kennis van relevante buitenlandse evaluatiepraktijken, -initiatieven, -methoden en -structureringen. De verzamelde voorbeelden en inzichten moeten bruikbaar zijn voor de Vlaamse overheidsactoren. Speciale aandacht zal besteed worden aan de domeinoverschrijdende evaluatiemethoden en -institutionaliseringen.

De onderzoeksresultaten zullen aan de hand van (tussentijdse) rapporten, Stuur- en werkgroepen en workshops aan de opdrachtgever teruggekoppeld worden. Ook aan het meetnetwerk zal gerapporteerd worden. Academische valorisatie zal plaatsvinden via internationale publicaties en via participatie aan (inter)nationale academische fora inzake evaluatie.

ONDERZOEKERS

Coördinator:
Marleen Brans (KU Leuven)

Wetenschappelijk medewerker:
Bart De Peuter (KU Leuven)

Naar boven