Regeringskansliets rättsdatabaser

Regeringens skrivelse 2020/21:178 Riksrevisionens rapport om effektutvärderingar av näringspolitiken - bristande tillförlitlighet Skr. 2020/21:178 Regeringen överlämnar denna skrivelse till riksdagen. Stockholm den 15 april 2021 Stefan Löfven Ibrahim Baylan (Näringsdepartementet) Skrivelsens huvudsakliga innehåll I skrivelsen redovisar regeringen sin bedömning med anledning av Riksrevisionens iakttagelser och rekommendationer i rapporten Effektutvärderingar av näringspolitiken - bristande tillförlitlighet (RiR 2020:30). Regeringen välkomnar Riksrevisionens granskning av hur statliga myndigheter utvärderar effekter av näringspolitiken och om hur effektutvärderingar används. Riksrevisionen rekommenderar regeringen att * säkerställa att Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys) i större utsträckning används för att utvärdera effekter av näringspolitiska insatser * återrapportera resultaten av väl utförda effektutvärderingar till riksdagen i högre grad och med ökad tydlighet * förtydliga syftet med uppföljningar av näringspolitiska insatser * tydliggöra i Almi Företagspartners AB:s (Almi) ägaranvisning vad syftet är med att använda jämförelsegrupper. Regeringen instämmer i flera av Riksrevisionens bedömningar. Regeringen delar dock inte Riksrevisionens uppfattning att en viss typ av metod för effektutvärderingar är att föredra framför andra. Sedan 2016 har regeringen arbetat strategiskt för att utveckla förutsättningarna för en mer systematisk uppföljning, utvärdering och analys av näringspolitiska insatser. De åtgärder regeringen avser att vidta utifrån Riksrevisionens granskning förstärker arbetet ytterligare. I budgetpropositionen för 2021 tilldelas Tillväxtanalys förstärkta medel för att bl.a. genomföra fler effektutvärderingar (prop 2020/21:1). Regeringen avser att i sin helhet se över de uppdragsmål som förutsätter att Almi genomför årliga utvärderingar i förhållande till en jämförelsegrupp. Frågan är därmed ännu inte slutbehandlad. Innehållsförteckning 1 Ärendet och dess beredning 4 2 Riksrevisionens iakttagelser 4 3 Regeringens bedömning av Riksrevisionens iakttagelser 6 4 Regeringens åtgärder med anledning av Riksrevisionens iakttagelser 8 Bilaga 1 Effektutvärderingar av näringspolitiken - bristande tillförlitlighet (RiR 2020:30) 10 Utdrag ur protokoll vid regeringssammanträde den 15 april 2021 69 1 Ärendet och dess beredning Riksrevisionen har granskat hur statliga myndigheter utvärderar effekter av näringspolitiken. Resultatet av granskningen redovisas i rapporten Effektutvärderingar av näringspolitiken - bristande tillförlitlighet (RiR 2020:30), se bilagan. Riksdagen överlämnade Riksrevisionens rapport till regeringen den 22 december 2020. I denna skrivelse behandlar regeringen de iakttagelser och rekommendationer till regeringen som Riksrevisionen redovisar i sin rapport. Rapporten innehåller även slutsatser och rekommendationer till Tillväxtverket, Tillväxtanalys, Verket för innovationssystem (Vinnova) samt Almi. Vissa åtgärder återstår innan Riksrevisionens rapport är slutbehandlad. 2 Riksrevisionens iakttagelser Riksrevisionen har granskat utvärderingar av näringspolitiken som uttalar sig om effekter och som har publicerats under perioden 2015-2018. De granskade myndigheterna är Tillväxtanalys, Tillväxtverket och Vinnova. Även Statistiska centralbyrån (SCB) ingår i granskningen eftersom SCB utfört årliga s.k. effektmätningar åt Almi. Almi ingår i granskningen i egenskap av beställare av effektmätningarna. Riksrevisionens övergripande revisionsfråga lyder: håller utvärderingar som uttalar sig om effekter av näringspolitiken en tillräcklig kvalitet för att uttala sig om effekter och används utvärderingarnas resultat på ett ändamålsenligt sätt? I granskningen delas den övergripande frågeställningen upp i två delfrågor: 1. Uppfyller utvärderingar från de granskade myndigheterna som uttalar sig om effekter av näringspolitiken grundläggande krav för att vara trovärdiga som effektutvärderingar? 2. Används effektutvärderingar av de granskade myndigheterna respektive regeringen för att kommunicera resultat av näringspolitiska insatser, för att motivera nya insatser eller för att förbättra befintliga insatser? Riksrevisionens övergripande slutsats är att det under den granskade perioden finns betydande brister i den effektutvärdering av näringspolitiken som genomförts av myndigheterna och att det är stora skillnader mellan myndigheterna avseende kvaliteten på effektutvärderingarna. Riksrevisionen bedömer att utvärderingar som gör uttalanden om effekter och är utförda eller beställda av Almi, SCB, Tillväxtverket och Vinnova endast i liten utsträckning uppnår de mest grundläggande kraven som kan ställas på en effektutvärdering. Utvärderingarna från Tillväxtanalys uppvisar en högre kvalitet. Effektutvärderingar från Tillväxtanalys uppfyller i regel de två lägre av de tre krav som Riksrevisionen undersökt (om utvärderingen använder en kontrafaktisk ansats, om statistiska antaganden motiveras och om metodval och nödvändiga antaganden dessutom är tillfredsställande motiverade) och i två av 13 fall uppfyller man samtliga krav. Samtidigt ser Riksrevisionen i flera fall brister i analysen. Det handlar framför allt om brister i att motivera de statistiska antaganden som är nödvändiga men också otydlighet när det gäller vilka slutsatser som kan dras om effekter från en given rapport. Riksrevisionen bedömer att ingen av utvärderingarna från Tillväxtverket och Vinnova uppnår alla de tre krav som ställts upp och endast ett mindre antal av dem uppfyller det allra lägsta kravet om att använda en kontrafaktisk ansats. Utvärderingar utan kontrafaktisk ansats är ofta i stället utformade som intervjuer med aktörer. Riksrevisionen bedömer det som otillräckligt som grund för att dra slutsatser om effekter. SCB:s effektmätningar som utförs på beställning av Almi bedöms av Riksrevisionen som inte tillförlitliga som effektutvärderingar eftersom de kontrollgrupper som används troligen inte är representativa för Almis kundföretag. Enligt Riksrevisionen finns i effektmätningarna inga påståenden om effekter, men de används av Almi och uppfattas av andra som om de vore belägg för effekter av verksamheten. Riksrevisionen anser att det finns skäl för regeringen att låta Tillväxtanalys ta ett samlat ansvar för effektutvärdering av näringspolitiken. Vidare bedömer Riksrevisionen att regeringen i låg utsträckning använder effektutvärderingar i sin återrapportering till riksdagen. Riksrevisionen menar också att regeringen ibland är oklar med vilken källan är när regeringen refererar till utvärderingar och att regeringen ibland drar mer anspråksfulla slutsatser än vad det finns täckning för i utvärderingarna. Riksrevisionen lämnar följande rekommendationer till regeringen: * Säkerställ att Tillväxtanalys i större utsträckning används för att utvärdera effekter av näringspolitiska insatser. Detta skulle öka förutsättningarna att samla en kritisk massa av kompetens för att effektutvärderingarna ska hålla tillräcklig kvalitet. * Återrapportera i högre grad och med ökad tydlighet, inklusive källhänvisning, resultaten av väl utförda effektutvärderingar till riksdagen. * Förtydliga syftet med uppföljningar av näringspolitiska insatser. I den mån regeringen vill ha uppföljningar av annan karaktär än effektutvärderingar bör detta tydligt framgå. * Tydliggör i Almis ägaranvisning vad syftet är med att använda jämförelsegrupper. Om syftet är att undersöka effekten av Almis verksamhet bör kontrollgrupper inte specificeras i ägaranvisningen utan bestämmas i det enskilda fallet av korrekt utförda effektutvärderingar. Utöver rekommendationerna till regeringen lämnar Riksrevisionen följande rekommendationer till Almi, Tillväxtanalys, Tillväxtverket och Vinnova: Rekommendation till Almi: * Säkerställ att syfte och begränsningar tydligt framgår för olika typer av återrapporteringar, t.ex. i bolagets årsredovisning. Om syftet avser effekter av verksamheten bör återrapportering grundas på effektutvärderingar av en utförare som har beprövad kompetens i detta. Rekommendation till Tillväxtanalys: * Tillväxtanalys bör säkerställa att kvaliteten i myndighetens effektutvärderingar höjs ytterligare. Rekommendation till Tillväxtverket och Vinnova: * För utvärderingar av effekter bör Tillväxtverket och Vinnova i högre utsträckning anlita och/eller samarbeta med Tillväxtanalys. Andra typer av utvärderingar och uppföljningar bör inte göra anspråk på att uttala sig om effekter och deras syften och begränsningar bör kommuniceras tydligt. De rekommendationer som ges till Almi, Tillväxtanalys, Tillväxtverket och Vinnova behandlas inte i denna skrivelse. Hur rekommendationerna tas om hand kommer att hanteras inom ramen för den ordinarie bolagsstyrningen respektive myndighetsdialogerna. 3 Regeringens bedömning av Riksrevisionens iakttagelser I granskningen uppmärksammas ett flertal svårigheter och brister vad gäller utvärderingar och bedömningar av effekter från näringspolitiska insatser. Statliga stöd inom näringspolitiken syftar till att stärka näringslivets, och i förlängningen svensk, konkurrenskraft. En god överblick över hur medel används och vilka effekter offentliga insatser leder till samt möjlighet att värdera var statens insatser bedöms göra störst nytta, är centralt för en god hantering av statens medel. Väl utförda kunskapsunderlag, där bland annat effektutvärderingar är en viktig del, är dessutom nödvändiga i utvecklingen av nya näringspolitiska insatser. Regeringen instämmer delvis i Riksrevisionens problembeskrivning och övergripande iakttagelse att många utvärderingar inom näringspolitiken som gör anspråk på att uttala sig om effekter kan förbättras. Såväl Regeringskansliet som övriga myndigheter arbetar kontinuerligt med att utveckla sina metoder och analyser för att bättre kunna redovisa uppnådda resultat. Regeringen noterar samtidigt att det av Riksrevisionens granskning inte framgår om den beaktat det utvecklingsarbete som utförts sedan 2017, vilket baserats på de tidigare rekommendationer Riksrevisionen lämnat i granskningen av statliga stöd till innovation och företagande från 2016 (RiR 2016:22) - en granskning som även hanterade effektutvärderingar och kausalitet. I regeringens skrivelse till riksdagen med anledning av Riksrevisionens rapport (skr. 2016/17:79) redovisades regeringens bedömning av Riksrevisionens iakttagelser samt vilka åtgärder som skulle genomföras med anledning av dessa. Rekommendationerna i den senaste granskningsrapporten behöver därmed sättas i relation till det arbete som pågår inom Regeringskansliet till följd av de tidigare rekommendationerna. En del i förbättringsarbetet är ökad noggrannhet när det gäller användning av begrepp och metoder. Enligt Ekonomistyrningsverket (ESV) kan effekter illustreras på olika sätt. Ett sätt är via kontrafaktiska resonemang, dvs. utvärderingsmetoder som bygger på ett "om inte"-resonemang. I andra fall uppstår effekter i flera led vilket i sin tur kan behövas illustreras via en effektkedja, som kan ingå i en beskrivningsmodell för åtgärden, så kallad programteori. I dessa fall är det viktigt att tydliggöra vilka antaganden som ligger till grund för programteorin. I effektutvärderingar som rör offentliga insatser försöker utvärderaren ofta fastställa ett orsakssamband mellan en insats och en förändring av ett tillstånd som organisationen i fråga försökt påverka. Effekterna bedöms då utifrån uppställda mål, vilket ESV kallar målutvärdering (ESV 2006:8, s. 9-12). Då många av de insatser som görs inom näringspolitiken utgör delar av bredare förändringsprocesser blir effektkedjor i vissa fall en ändamålsenlig utvärderingsform, samtidigt som det i andra fall kan vara mer lämpligt med kontrafaktiska kontrollstudier. Utifrån ESV:s rekommendationer går det inte att föredra en metod av effektutvärderingar före en annan. Det beror på vad som studeras och i vilket syfte effektutvärderingen görs. Det innebär att antaganden och metodval bör motiveras väl, vilket regeringen redogjorde för i budgetpropositionen för 2020 (prop. 2019/20:1 utg.omr. 24) med anledning av riksdagens tillkännagivande om oberoende effektutvärderingar av statliga stöd till innovation och företagande (bet. 2017/18:NU12 punkt 2, rskr. 2017/18:238). Regeringen bedömer därför att de tre vägledande kriterierna som Riksrevisionen ser som norm för effektutvärderingar (dvs. om utvärderingen använder en kontrafaktisk ansats, om statistiska antaganden motiveras och om metodval och nödvändiga antaganden dessutom är tillfredsställande motiverade) inte är det enda sättet att bedöma huruvida effektutvärderingar av näringspolitiken kan anses vara adekvata. Riksrevisionen rekommenderar regeringen att vara tydlig med syftet med uppföljningar av näringspolitiska insatser, och om regeringen vill ha uppföljningar av annan karaktär än effektutvärderingar bör detta tydligt framgå. Regeringen ser behov av olika typer av uppföljningar och utvärderingar. Syftet med dessa kan variera och regeringen instämmer i att det är centralt att vara tydlig med vilken typ av resultat som en utvärdering visar. Hur de granskade utvärderingarna används av regeringen har Riksrevisionen undersökt genom intervjuer med Regeringskansliets myndighetshandläggare för respektive myndighet. Riksrevisionen har också genomfört en automatiserad textanalys av regeringens propositioner från 2015 och framåt. Riksrevisionen undersöker även om, och i så fall i vilken utsträckning, regeringen använder enskilda studier som källa för att uttala sig om effekter trots att studien inte gör sådana anspråk. Regeringen instämmer i att det går att åstadkomma förbättringar när det gäller en tydligare redovisning av insatsers effekter. För att få en bättre överblick över stöden samt utveckla bättre kopplingar mellan utvärderingar och övergripande mål genomfördes ett metodutvecklingsarbete med syftet att tydliggöra det näringspolitiska målet. I budgetpropositionerna för 2019, 2020 och 2021 presenteras i utgiftsområde 24 Näringsliv resultatet av detta arbete som innefattar tre delmål för det näringspolitiska målet samt ett antal indikatorer för uppföljning. Regeringen gav 2017 också ett metodutvecklingsuppdrag till Tillväxtanalys som i nära dialog med Regeringskansliet och i samverkan med berörda myndigheter tog fram förslag för förbättrade utvärderingar av offentliga insatser som ska leda till strukturomvandling och ekonomisk förnyelse. Uppdraget slutredovisades till Regeringskansliet (Näringsdepartementet) 2018 (Tillväxtanalys PM 2018:13). Regeringskansliet har utifrån denna slutrapport tagit fram så kallade programteorier, en metod för analys och datainsamling, för att utvärdera regeringens nu pågående samverkansprogram. Regeringen gav dessutom Tillväxtanalys i uppdrag 2019 att utreda förutsättningarna för en förbättrad tillgång på data om stöd till näringslivet. Myndigheten slutrapporterade uppdraget 2020 (N2019/00719). Regeringen noterar Riksrevisionens iakttagelse att de mätningar som SCB utför på uppdrag av Almi inte är tillförlitliga som effektutvärderingar. Som framgår av Riksrevisionens rapport gör mätningarna inte heller anspråk på att visa effekter. I enlighet med Riksrevisionens iakttagelser och rekommendationer i granskningen Jämställdhet i Almis låneverksamhet - otydlig styrning och återrapportering (RiR 2019:7) har regeringen genomfört en översyn av Almis ägaranvisning och uppdragsmål under 2020. Efter översynen har antalet uppdragsmål i Almis ägaranvisning som förutsätter att Almi genomför årliga utvärderingar i förhållande till en jämförelsegrupp reducerats till två. Regeringen vill i detta sammanhang framhålla att syftet med uppdragsmål i en ägaranvisning för ett bolag med statligt ägande som har ett av riksdagen särskilt beslutat samhällsuppdrag är bredare än att enbart mäta effekter av bolagets verksamhet. Mot bakgrund av Riksrevisionens iakttagelser och rekommendationer kan dock regeringen konstatera att även den nuvarande utformningen av Almis ägaranvisning inte är ändamålsenlig i dessa delar och regeringen delar därför Riksrevisionens uppfattning att Almis ägaranvisning bör justeras. 4 Regeringens åtgärder med anledning av Riksrevisionens iakttagelser Som beskrivits ovan har regeringen sedan Riksrevisionens tidigare granskning från 2016 arbetat strategiskt för att utveckla förutsättningarna för en mer systematisk uppföljning, utvärdering och analys av näringspolitiska insatser. Riksrevisionen rekommenderar regeringen att ha en större tydlighet i återrapportering av effekter till riksdagen. Regeringen arbetar kontinuerligt med att utveckla resultatredovisningen inom utgiftsområde 24 Näringsliv. Ambitionen är att kedjan från insatsers bidrag till måluppfyllnad ska vara tydlig i regeringens redovisning till riksdagen. Regeringen uppdrog, bl.a. med anledning av Riksrevisionens granskning, nyligen åt Tillväxtanalys (N2021/00918) att kartlägga företagsfrämjande insatser för att på så sätt skapa bättre överblick över bl.a. de samlade stöden, samt skapa förutsättningar för ändamålsenliga utvärderingar. Uppdraget ska redovisas senast den 15 september 2021. Riksrevisionen rekommenderar regeringen att i större utsträckning använda Tillväxtanalys för effektutvärderingar av näringspolitiska insatser. Genom budgetpropositionen för 2021 tilldelades Tillväxtanalys förstärkta medel för att genomföra fler effektutvärderingar och för att utveckla en heltäckande databas som stöd för utvärdering av offentliga insatser inom näringspolitiken. För 2021 tillfördes Tillväxtanalys 2 miljoner kronor. För 2022 respektive 2023 beräknas 3 respektive 4 miljoner kronor tillföras myndigheten. Med anledning av Riksrevisionens iakttagelser och rekommendationer planerar regeringen en ny översyn av Almis ägaranvisning. Regeringen avser då att i sin helhet se över de uppdragsmål som förutsätter att Almi genomför årliga utvärderingar i förhållande till en jämförelsegrupp. De åtgärder regeringen avser att vidta utifrån Riksrevisionens granskning förstärker ytterligare arbetet med att bättre kunna redovisa resultat och kunskapsunderlag om näringspolitikens samlade effekter. Frågan är därmed ännu inte slutbehandlad. Effektutvärderingar av näringspolitiken - bristande tillförlitlighet (RiR 2020:30) Näringsdepartementet Utdrag ur protokoll vid regeringssammanträde den 15 april 2021 Närvarande: statsminister Löfven, ordförande, och statsråden Bolund, Johansson, Baylan, Hultqvist, Damberg, Shekarabi, Ygeman, Ekström, Eneroth, Dahlgren, Nilsson, Ernkrans, Lindhagen, Lind, Hallberg, Nordmark, Micko, Stenevi, Olsson Fridh Föredragande: statsrådet Baylan Regeringen beslutar skrivelse 2020/21:178 Riksrevisionens rapport om effektutvärderingar av näringspolitiken - bristande tillförlitlighet