Hvordan evaluerer man udbyttet af et projekt?

Det er altid nemmere at finde noget, når man ved, hvad man leder efter.

Martin Welzel
Opdateret november 2024

Hvis de nødvendige ressourcer og kompetencer er til stede, kan det ganske vist være enormt lærerigt at evaluere ud fra en eksplorativ tilgang. Altså at man med helt åbent sind afdækker tilsigtede og utilsigtede resultater af en indsats – som fx med tilgangen Outcome Harvesting (se artikel om Outcome Harvesting).

I den typiske projektevaluering er det dog nyttigt at have en fælles forståelse blandt de invoverede om, hvor man skal rette søgelyset, når et projekts resultater skal belyses. Og lyskeglens retning, fokus og størrelse er afgørende for, hvad man er i stand til at finde og dokumentere.

Hvis du har din vante gang i ’projekt-Danmark’, er du sikkert bekendt med tilgangen, hvor man en smule dovent nøjes med at rette lyskeglen lige ned foran fødderne af projektet og opgør projektets ”resultater” som antallet af deltagere, antallet af workshops osv.? Du har måske også siddet i den anden grøft og set, hvordan lyskeglen er blevet rettet mod himlen i et forsøg på at belyse fremtidige effekter? Til trods for at dét med at spå om fremtiden er en vanskelig disciplin.

Men hvor skal vi så rette fokus, når vi skal belyse resultaterne af et projekt?

Hvad kan vi, hvad vil vi (måle på)?

De letteste projektresultater at opgøre er dem, som projektledelsen i overvejende grad har fuld kontrol over. Det kan f.eks. være, hvor mange deltagere man får rekrutteret; eller hvor mange arrangementer, man får afholdt (aktiviteter). Det kan også være de umiddelbare resultater af projektholdets arbejde, f.eks. kortlægninger, nye undervisningskoncepter, digitale værktøjer osv. (output).

Imidlertid har de fleste projekter, implicit eller eksplicit, et højere ambitionsniveau ift. resultatskabelse. Mange projekter ønsker at bidrage til et udbytte for deltagerne eller en bredere målgruppe (outcome) og måske forbedre situationen for deltagerne eller en bredere population på kort eller længere sigt (effekt).

Men jo længere ude i fremtiden eller jo længere væk fra de personer, virksomheder eller organisationer, der direkte har været involveret i projektaktiviteterne vi leder, jo mere usikkert er det, om de fundne resultater faktisk kan tilskrives projektet. Denne erkendelse vinder frem for tiden. Og vi oplever derfor også, at klassiske effektmålinger i projekt-Danmark er ved at gå lidt af mode i projektevalueringer.

Derfor har vi ofte fordel af at træde et skridt tilbage og rette fokus lidt tættere på projektets direkte værdiskabelse. Nedenstående figur sætter de nævnte begreber som output, outcome og effekt i sammenhæng. Og så sammenfatter den, hvorfor det ofte er særligt interessant at belyse projekters outcome, når vi skal afdække et projekts værdiskabelse.

Hvis flere evalueringer fokuserede på at belyse projekters outcome, så var vi et stykke videre. Men ’outcome’-begrebet er stadig en kæmpe rodekasse fuldt af alle mulige slags resultater. Så der er brug for en ruminddeler til vores værktøjskasse, hvis vi skal blive mere præcise i snakken om projektresultater. Ikke kun når vi taler om evaluering, men også i forventningsafstemningen mellem projektpartnere.

Derfor har vi introduceret Outcome+ modellen, som vi oplever, giver indsigt og værdi for de fleste, der arbejder med projekter. Måske også for dig?

Outcome+

Outcome+ er et værktøj til at tænde lys inde i den store outcome-blackbox, gruppere forskellige typer outcomes og præsentere en logisk sammenhæng mellem dem. På den måde kan Outcome+ bidrage til at styrke både overblikket og forståelsen for den værdi, et projekt kan skabe for sin målgruppe.

Outcome+ består af tre sammenhængende niveauer af outcome:

De tre typer outcome tager sig lidt forskelligt ud afhængigt af, om projektet er rettet mod personer, organisationer eller virksomheder. Her giver vi en overordnet forklaring på tværs af disse aktørtyper. Aktørerne kan være enten direkte deltagere i projektet eller del af projektets bredere målgruppe afhængigt af projektets karakter.

• Forudsætninger: Deltagerne/målgruppen har fået nye/bedre forudsætninger for at udvikle sig (ny viden, nye perspektiver, ny forståelse, nye redskaber, nye relationer, nye kompetencer m.fl.).
• Forandringer: Deltagerne/målgruppen har draget nytte af de nye forudsætninger, som man har fået gennem projektet, og omsat dem til adfærdsændringer. Det vil sige ændringer i praksis, vaner eller forretning.
• Forbedringer: Deltagerne/målgruppen har som følge af den ændrede adfærd opnået konkrete gevinster. For personer kan det konkret være nyt job ellers forbedret helbred eller på anden vis et rigere, mere meningsfuldt liv. For virksomheder kan det være adgang til nye markeder/kunder, omkostningsreduktioner, øget indtjening m.v.

Bag disse tre begreber ligger der mange nuancer, overvejelser, eksempler og dilemmaer, som er for omfattende at tage hul på her. Det kan vi i anden sammenhæng fordybe os i. Her vil jeg blot forsøge at adressere spørgsmålet:

Hvornår kan Outcome+ være et nyttigt redskab for dig?

Vi giver her tre eksempler på, hvornår det kan være nyttigt at trykke på det lille plus i Outcome+ og folde begrebet ud i flere niveauer. De tre elementer i Outcome+ som defineret ovenfor er kursiveret i teksten nedenfor.

• Bedre overblik over projektets samlede værdiskabelse. Ofte vil seriøse, flerårige projekter have fokus på at skabe og dokumentere egentlige forbedringer for sine deltagere. En andel af deltagerne vil have opnået disse forbedringer ved projektets afslutning. Men en ofte større gruppe er sat i en positiv udvikling uden dog endnu at have opnået direkte forbedringer. Her er et mere nuanceret blik på ’outcome’ nyttigt. Ved også at inkludere forudsætninger og forandringer i dokumentationen af deltagernes udbytte, får man også indsigt i værdien for de deltagere, der endnu er ’på vej’ mod forbedringer på opgørelsestidspunktet. Gør man dette løbende gennem projektperioden, vil man også blive bedre i stand til at skaffe aktuel feedback på, om projektet leverer den ønskede værdi til deltagerne.

• Input til mere reflekterede valg om projektets ambitionsniveau. Der er dog også projekter, som begrænser sig til at opstille mål om at tilføre deltagerne eller den bredere målgruppe bestemte forudsætninger. Brug af Outcome+ kan her give projektledelsen eller styregruppen anledning til at overveje, om projektet måske også skulle opstille målsætninger for forandringer eller endda forbedringer. Eller i det mindste kan man reflektere åbent over, om man kan gøre tiltag i projektet for at styrke deltagernes egen kapacitet til at omsætte deres nye forudsætninger til egentlige forandringer i deres praksis eller adfærd efter de afslutter deres projektdeltagelse.

• Styrket forståelse for sammenhængen mellem effekter og projektets aktiviteter. Ofte vil man ved afslutningen af et projekt kunne måle visse effekter. Men det er som regel vanskeligt at afgøre med nogenlunde sikkerhed, i hvilket omfang disse effekter kan tilskrives projektets indsats. Men hvis man i disse tilfælde formår at påvise vejen fra projektets indsats til effekter gennem Outcome+’s tre elementer, så kan man langt mere overbevisende tilskrive en given effekt til et projekts indsats eller ’intervention’.

Passer Outcome+ begreberne på dit projekt? Kan du bruge dem i tilrettelæggelsen af dit projekt og/eller din projektevaluering? Har du eksempler på, hvor Outcome+ kan være til nytte i dit projekt – eller måske, hvor Outsome+ ikke kan fungere? Jeg er lige så nysgerrig som dig, så kontakt mig endelig, hvis vi skal tage en snak om anvendelsen af Outcome+.