Effektmåling kræver metode, mål og værktøjer

Effektmåling: Hvis man vil måle Danmarks kystlinje, kan man benytte sig af satellitfotos og nå frem til, at kysten er 7.314 km. Men hvis man selv går på stranden, hvor er kysten så egentlig? Vandet trækker sig jo hele tiden frem og tilbage i takt med bølgernes skvulpen.

På samme måde har mange medarbejdere i den socialpædagogiske verden en dybtfølt skepsis over for at måle på effekten af den socialpædagogiske indsats. For hvad skal man bruge et tal på 2 til, når drengen er dybt ulykkelig? Har han det så virkelig bedre, bare fordi han var en 3´er i sidste uge? Og skyldes barnets tilstand pædagogens indsats, fodboldlandsholdets ringe præstationer eller drilleri fra klassekammerater? Giver det virkelig altid mening at måle? Svaret er både ja og nej.

Evidens for effekt
For at sikre den bedst mulige indsats og den bedste anvendelse af de sparsomme resurser på det sociale område er vi nødt til at arbejde evidensbaseret. Vi er nødt til at gøre os klart og definere, hvad det er, vi gør, og hvad der sker, når vi leverer den socialpædagogiske indsats. Det betyder, at vi er nødt til at sætte os mål med vores indsats og måle på, om vi når det ønskede resultat. Men det er ikke alt, som det giver mening at måle på.

Isolation eller fællesskab
Hvis målet er, at Peter skal være mere social, så starter opgaven med, at vi bliver enige om, hvad er det for en adfærd, som vi betragter som social. Er det fx socialt, hvis Peter sidder alene på sit værelse og spiller computer i flere timer hver dag? Er det mere socialt, hvis Peter sidder alene på sit værelse i flere timer om dagen og spiller World of Warcraft online sammen med en gruppe andre unge i andre lande, mens de chatter sammen på engelsk og lægger fælles strategier?

Hvis målet derimod reelt er, at få Peter ud af værelset og meldt ind i en sportsklub, så er det helt andre ting, vi skal arbejde med i forhold til Peter, og dermed også helt andre succeskriterier, som vi skal arbejde med. I stedet for at fokusere på, hvor lang tid Peter tilbringer på sit værelse, så handler det måske i stedet om at registrere, om Peter kommer til træning i klubben, om han deltager i ture og etablerer nye relationer.

Alle borgere er unikke
Dermed også sagt, at der sjældent findes en standardløsning, der under alle omstændigheder kan anvendes, når man skal måle effekten af sociale indsatser. Selv om det er muligt at udarbejde indikator-kataloger med en række indikatorer, som giver god mening, når man skal vurdere et tilbud eller en konkret indsats i forhold til en bestemt borgertype, så er kunsten altid at tage udgangspunkt i den enkelte borger med blik for, hvad der giver mening netop for denne borger. Hvad er det for en forandring, man gerne vil skabe i borgerens liv sammen med borgeren? Hvordan kan vi med udgangspunkt i den konkrete borger - og sammen med den enkelte borger - opsætte indikatorer, som betyder noget, som reelt giver et fingerpeg om, hvorvidt udviklingen går i den ønskede retning.

Det er vigtige spørgsmål, som det er værd at overveje, hvis man i sit arbejde med effektmåling vil sikre sig, at man ikke blot måler på noget, der er let at måle på, men måler på noget, der rent faktisk giver ny viden om effekten af indsatsen, som kan bruges til at fastholde, forstærke eller justere indsatsen til gavn for borgeren. Vi har brug for viden for at kunne skabe positive forandringer.

Sociale indsatser uden mål og effektmåling er som at cykle beruset og med solbriller på i mørke. Man ved ikke, hvor man kører på vejen, men det betyder ikke så meget, for man ved jo alligevel hverken, hvor man skal hen, og hvornår man når dertil.

Fælles indikatorkataloger
Når man skal i gang med at effektmåle, er det helt afgørende at få udviklet et fælles indikatorkatalog, så både myndighed og udfører er enige om, hvad der måles på og hvordan.

De fælles kataloger gør det muligt for alle relevante medarbejdere at arbejde ud fra den samme struktur og forståelse af indsatsens betydning for borgeren.

I Esbjerg Kommune bygger Indikatorkatalogerne i Social & Tilbud fx på Voksenudredningsmetodens struktur, der er integreret i kommunens myndighedssystem.

Den fælles struktur i udredningen af en borger, som fx de nationale udredningsmetoder, Voksenudredningsmetoden, VUM eller Integrated Childrens System, ICS, på børn- og ungeområdet tilbyder, er afgørende for, at man kan generere de objektive data, der i sidste ende dokumenterer, hvilke indsatser der virker - og omkostningerne til disse.

Læs mere om Esbjerg Kommunes tilgang til fælles indikatorkataloger og effektmåling i Serviceniveaubeskrivelse for voksenstøtte og botilbud i Social & Tilbud.

Begrebsafklaring
Her er to cases, der viser, hvordan et fælles indikatorkatalog kan danne rammen om indsatsen.

Case: Voksen/handicap
En voksen udviklingshæmmet borger giver udtryk for, at han er ensom og gerne vil have nogle faste venner.

Med udgangspunkt i et VUM-baseret Indikatorkatalog indkredses indsatsen til følgende:
SOCIALT LIV - Samspil og kontakt - Interaktion - Evnen til at indgå, udvikle og fastholde sociale relationer, fællesskaber og netværk.

Borgeren og medarbejderne aftaler en række aktiviteter, der skal hjælpe og støtte borgeren i at indgå og fastholde venskaber. En af dem kunne være:

Case: Børn og Unge
En ung borger ønsker at flytte fra ungdomspension til egen bolig inde i byen. Sagsbehandleren bestiller en indsats der sikre at den unge borger har de nødvendige kompetencer til at flytte i egen bolig.

Med udgangspunkt i et ICS-baseret Indikatorkatalog indkredses indsatsen til følgende:

UDVIKLINGSMÆSSIGE BEHOV - Udvikling og adfærd - Selvstændighed - Selvstændighed i hverdagen

Den unge og medarbejderne på pensionen opstiller sammen en række aktiviteter der skal vise hvornår den unge er klar til at flytte i egen bolig. En af dem kunne være:

Case: Askekrattet
På døgntilbuddet Askekrattet i Esbjerg Kommune har medarbejderne arbejdet med at måle på effekten af deres indsats. Askekrattet er en behandlingsinstitution med 10 pladser, beregnet til ophold af længerevarende karakter for 12 - 18 årige.

Medarbejderne har blandt andet arbejdet med effektmåling i forbindelse med arbejdet med en 16-årig pige, der har et begrænset netværk. Hun har ikke været i skole i de sidste to år og udviser udadreagerende adfærd. Pigen har tvangstanker og en ustabil døgnrytme. Hun kan ikke selv transportere sig rundt og er samtidig kræsen med en dertil hørende usund livstil.
For at kunne arbejde pædagogisk og følge op på effekten af indsatsen har medarbejderne målt på en række indikatorer.

Eksempler på indikatorer

En god indikator skal have relevans inden for det område, hvor man ønsker fokus på sin indsats. Den skal kunne knyttes direkte til indsatsen, være konkret og så vidt mulig ikke være en afledt indikator, der skal tolkes på. Derfor skal en god indikator på forhånd være gennemdrøftet af de medarbejdere, der skal registrere på den, så man kigger efter det samme og giver indikatoren en værdi ved registreringen, der giver mening for alle.

For det vigtigste er, at en indikator giver mening og værdi for den socialfaglige indsats og for de medarbejdere, der skal måle og registrere, så arbejdet med at identificere og registrere ikke bliver ligegyldig, rituel og symbolsk.

Hvad skal man bruge som effektmålingsværktøj?
Når man skal i gang med at effektmåle, er det ikke kun et spørgsmål om at finde de rette indikatorer frem. Det er også et spørgsmål om hardware og software. Selvudviklet system eller in-a-box-system? Den ene eller anden leverandør? Kinabog og håndskrift? Regneark og PC? Online webbaseret platformuafhængigt effektmålingsværktøj?

Her er et overblik over mulighederne – og umulighederne: