En væsentlig del af kvalitets- og forbedringsarbejde er evalueringsfasen, hvor man skaber læring på baggrund af de data og erfaringer, der opnås ved en given intervention. Dette er bl.a. intentionen i PDSA-cirklens Study-fase.
De evalueringsmetoder, der anvendes aktuelt, har imidlertid ofte begrænset effekt på grund af manglende medarbejderinvolvering og ukvalificerede evalueringsprocesser. Det gælder især forbedringsarbejde, der foregår på tværs af sektorer.
Min forskning viser, at gentagne og kollaborative evalueringer af tværgående patientforløb, hvor fokus er sammenhænge mellem indsatser og virkning i patienternes forløb, er fremmende for både læring, samarbejde og ikke mindst fælles forståelse af komplekse problemer og mulige løsninger herpå.
I min ph.d., “Opbygning af interorganisatorisk evalueringskapacitet: Et dansk casestudie af evalueringsprocesser på mikroniveau mellem hospital, praktiserende læger og kommune” (1) har jeg udviklet en fasemodel og en metodeguide til kollaborativ evaluering.
Kontrol frem for læring
I de seneste årtier har det danske sundhedsvæsen haft et stærkt fokus på specialisering, effektivisering og målstyring. Formålet har været at sikre både økonomisk ansvarlighed og høj kvalitet i offentlige sundhedsydelser (2). Dette har ført til en udbredt anvendelse af summative, instrumentelle og tekniske evalueringsmetoder. Disse evalueringsmetoder har primært til formål at kontrollere ”om vi kom i mål” i modsætning til formative evalueringstilgange, hvor fokus i højere grad er på ”hvad lærte vi, og hvordan kommer vi bedre i mål?” (3). Ifølge WHO og OECD har denne styrings- og evalueringstilgang svækket mulighederne for læring i sundhedsvæsenet – særligt når det gælder kvalitet i forløb på tværs af organisatoriske grænser (4).
En yderligere svækkelse er, at medarbejdere og driftsnære ledere ikke har været tilstrækkeligt involveret i at kvalificere evalueringer eller anvendte data. Dette har ført til mistillid til både data og evaluering, som redskaber til forbedringer (5). Derudover har det ført til et gab mellem myndigheder, ledelse og medarbejderes forståelse af sundhedsvæsenets komplekse problemstillinger og potentielle løsninger. Måden der måles og evalueres på, er nemlig styrende for vores forståelse af virkeligheden, herunder både bagvedliggende problemstillinger og mulige løsninger (6).
Manglende fælles forståelse er særligt udtalt i samarbejdet på tværs af sundhedsvæsenet, og når det gælder komplekse folkesundhedsproblemer relateret til tværgående patientforløb. Det tværsektorielle arbejde med at forebygge (gen)indlæggelser af ældre medicinske patienter er et konkret og aktuelt eksempel, som kan karakteriseres som komplekst og interorganisatorisk (7). Eksemplet har jeg anvendt som case i mine undersøgelser af barrierer og muligheder for opbygning af evalueringskapacitet på tværs af sundhedsvæsenet, når PDSA-cirklen anvendes som redskab til at løse dette interorganisatoriske problem. Andre lignende eksempler kunne være patienter med psykiatriske eller misbrugsproblematikker eller kronisk og multisyge patienter med mange kontakter i hospitalsvæsenet.
Evalueringskapacitet, læring og forbedringer i praksis
Evalueringskapacitet er defineret som evner, færdigheder og kompetencer til at gennemføre, samarbejde om og anvende evaluering til læring og forbedringer. Forskning viser, at opbygning af evalueringskapacitet kan understøtte læring på både individ og organisatorisk niveau (8). Evalueringskapacitet er derfor relevant at beskæftige sig med, da en væsentlig del af kvalitets- og forbedringsarbejde er centreret omkring at skabe læring med anvendelse af data og evaluering. Dette er bl.a. intentionen i PDSA-cirklens Study-fase (9). Forskning viser, at opbygning af praksisnær evalueringskapacitet blandt medarbejdere og driftsnære ledere kan resultere i:
- En praksis, hvor evalueringer anvendes til læring og forbedring af effekten af indsatser
- En katalysator for forbedringer med varige effekter (10)
Min forskning viser, at gentagne og kollaborative evalueringer af tværgående patientforløb, hvor fokus er sammenhænge mellem indsatser og virkning i patienternes forløb, er fremmende for både læring, samarbejde og ikke mindst fælles forståelse af komplekse problemer og mulige løsninger herpå. Når driftsnære ledere og medarbejdere fra alle involverede sektorer deltager i at designe, gennemføre, reflektere over og anvende denne type af evalueringer i det tværsektorielle forbedringsarbejde, så mobiliseres der både motivation, ressourcer og ansvarstagen og der genereres ny viden og interorganisatorisk læring. Derudover genereres der ny viden og fælles data om tværgående forløb, som er afgørende grundlag for kvalificerede ledelsesbeslutninger om forbedring af konkrete patientforløb. Min forskning viser dog, at der er en række forhold, der hæmmer, at dette sker i det tværsektorielle forbedringsarbejde. Forhold, som særligt vedrører evalueringsprocesserne i PDSA-cirklens Study-fase.
I denne artikel kommer jeg med eksempler på både barrierer og muligheder for at opbygge evalueringskapacitet.
Men først vil jeg kortlægge, hvad vi ved om PDSA-cirklens anvendelse og læringspotentiale fra litteraturen og ikke mindst Study-fasens betydning herfor.
Litteratur-review af evalueringsprocesser i sundhedsvæsenets forbedringsarbejde
Som et delstudie i min ph.d.-afhandling har jeg gennemgået international litteratur om de evalueringsprocesser, der finder sted som del af forbedringsarbejdet, når PDSA-cirklen anvendes.
Jeg har anvendt metoden ’Realist Review’. Denne metodiske tilgang er designet til at afdække viden om komplekse sociale interventioner og kontekstuelle faktorer, der kan påvirke interventionernes resultater (11). Reviewmetoden er valgt, da jeg undersøger: hvad der virker, for hvem, under hvilke omstændigheder, og hvordan, når PDSA-cirklens anvendes i sundhedsvæsenets forbedringsarbejde.
Study-fasen er PDSA-cirklens akilleshæl
PDSA-cirklen anerkendes internationalt, som en effektiv metode i sundhedsvæsenets forbedringsarbejde, men litteraturen viser imidlertid, at PDSA-cirklens effekt er begrænset. Study-fasen, hvor forbedringsindsatser evalueres, betragtes, som metodens læringsgenerator, og succesen af PDSA-cirklen viser sig i høj grad at afhænge af, hvordan evalueringerne gennemføres. Her er det kollaborative element, altså interaktiv involvering af medarbejdere, afgørende for positive resultater. Paradoksalt nok er dette element ofte fraværende i praksis.
Litteraturen fremhæver følgende udfordringer ved anvendelsen af PDSA-cirklen:
- Evalueringer i Study-fasen er ofte ikke systematiske, informerede eller rettet mod klare mål, der understøtter forbedringsinitiativerne.
- Det er ofte uklart, hvad der skal evalueres (evaluanden), hvilket gør det vanskeligt at opstille konkrete og målbare mål samt indsamle kvalificerede og relevante data.
- Evaluering bliver ofte brugt som et kontrolværktøj til at vurdere, om målene er nået, snarere end som et redskab til formativ læring. Dette betyder, at erfaringerne fra Study-fasen sjældent bruges til at informere ACT-fasen og dermed det videre forbedringsarbejde.
- Det kollaborative element er ofte fraværende og medarbejderne engageres ofte ikke i evalueringsarbejdet, der i stedet varetages af konsulenter.
Flere studier (12) sætter spørgsmålstegn ved, om PDSA-metoden er egnet til at håndtere komplekse eller “vilde” problemer, som dem der er genstand for forbedringsinitiativer i tværgående patientforløb. Derfor er det nødvendigt at reflektere over, hvordan vi anvender PDSA-cirklen, især i forhold til evaluering i Study-fasen, når vi arbejder med komplekse problemstillinger. Dette gælder både inden for enkelte hospitalers afdelinger og på tværs af organisatoriske eller sektorgrænser i sundhedsvæsenet som f.eks. i Det Nationale Ledelsesprogram, i de nationale Lærings- og Kvalitets Teams (LKT) og i klyngearbejdet i de danske regioner.
Min litteraturgennemgang (Laubek, 2024, kapitel 4) (1) viser, at forskningen i PDSA-cirklens anvendelse primært fokuserer på hospitalsvæsenet. Vi ved derfor relativt lidt om, hvordan forbedringsarbejdet udfolder sig, eller hvilken effekt det har, når det involverer flere sektorer eller organisatoriske grænser i sundhedsvæsenet. Dette peger på et behov for yderligere undersøgelser af metoden på tværs af sektorer i sundhedsvæsenet – hvilket min forskning bidrager til.
Ny viden om barrierer og muligheder for læring på tværs af grænser
Min forskning viser, at de traditionelle evalueringsmetoder, der anvendes i PDSA-cirklen ikke er anvendelige, når forbedringsarbejdet vedrører komplekse sundhedsproblematikker vedrørende f.eks. patientforløb på tværs af sektorer. Derimod kan medarbejderinvolverende og interaktive evalueringsmetoder skabe ny læring og fælles forståelse af komplekse problemstillinger – ikke mindst når fokus er på sammenhænge mellem indsatser og virkning i tværgående patientforløb. Samtidig kan deltagelsen i disse evalueringsprocesser medvirke til at der opbygges evalueringskapacitet på tværs af sektorerne. Det vender jeg tilbage til.
Hæmmende faktorer
Der er mange faktorer, der hæmmer både samarbejde og kvalificeret evaluering i PDSA-cirklens Study-fase og dermed også virker som barrierer for læring og kapacitetsopbygning. De væsentligste er:
- Manglende datadeling på tværs af sektorerne
- Anvendelse af teknisk-rationelle performance orienterede evalueringsmetoder
- Manglende viden og data om tværsektorielle forløb (nationalt og lokalt)
- Komplekse interorganisatoriske problemer
- Ulige forhold mellem almen praksis, hospital og kommune
- Ledelsesmæssige ønsker om hurtige forandringer
- Komplekse sociale dynamikker i tværgående grupper
- Negative erfaringer med evaluering
- Kompleks projektorganisering i tværsektorielle projekter
De hæmmende faktorer kommer konkret til udtryk i f.eks. projektgrupper, der arbejder med tværsektorielle forbedringsprojekter og udløser en række hæmmende mekanismer f.eks. ledelsesmæssig positionering og passivisering af medarbejderne. En mekanisme der resulterer i at medarbejdernes vigtige viden ikke bliver delt, og vidensniveauet dermed falder. En anden mekanisme er at institutionaliserede virkelighedsforståelser om de andre (myter og fordomme, som er blevet gyldige sandheder i hver sektor) reproduceres, fordi der mangler data, som kan understøtte fælles viden og nye erkendelser om konkrete og aktuelle fælles problemstillinger og mulige løsninger. I denne kontekst har ledelsesrepræsentanter en uheldig tendens til at vælge hurtige løsninger på komplekse problemer, der hverken er tilstrækkeligt udfoldet – ej heller er enighed om karakteren af. Ledelsesmæssige ønsker om at udvise handlekraft er med til at fremme denne tendens. Samlet set kan disse mekanismer resultere i at medarbejderne både mister motivationen for at deltage og tilliden til ledelsens evner og kompetencer. Derved reduceres både den nødvendige vidensdeling blandt klinikerne og hele grundlaget for at skabe forbedringer – medarbejdernes motivation og engagement.
Evalueringsprocesser, der fremmer læring og kapacitetsopbygning
På baggrund af et casestudie i et stort tværsektorielt forbedringsprojekt, hvor en gruppe af klinikere og driftsnære ledere sammen evaluerer 100 patientforløb, har jeg udviklet en fasemodel og en metodeguide til kollaborativ evaluering. Studiet viser, at kollaborativ evaluering af indsatser og virkningen af disse i patientforløb, fremmer opbygningen af evalueringskapacitet på tværs af organisatoriske grænser i sundhedsvæsenet.
Fasemodellen: Den kollaborative evalueringscirkel har fire sammenhængende og dynamiske faser:
1) I den første fase designer og etableres en informeret evaluering. Dvs. medarbejdere og driftsnære ledere identificerer hvad der evalueres (evaluanden), opstiller kriterier for evalueringen, udvælger relevant data og formål med evalueringen. Der skal være en sammenhæng imellem disse faktorer for at evalueringen er både informeret og valid.
2) Evalueringen gennemføres. Først i en pilottest og senere gentagne gange med deltagelse af den samme gruppe, som har designet evalueringen.
3) Efter den gennemførte evaluering reflekterer gruppen over evalueringens læring baseret på både resultaterne og evalueringsdesignets anvendelighed. F.eks. ”gav evalueringen den nødvendige viden, der er behov for i forbedringsarbejdet?” ”Er evalueringen mulig, valid eller mangler der yderligere data”?
4) Læringen fra fase tre anvendes til forbedringer i praksis af den givne forbedringsindsats OG til justering af evalueringsdesignet. Deltagelse i disse fire faser og processer bidrager til at evalueringer i Study-fasen dels genererer relevant, valid og anvendelig viden til at informere forbedringsarbejdet. Dels bidrager deltagelsen til et styrket samarbejde og til opbygning af interorganisatorisk evalueringskapacitet.
En metodevejledning
Fasemodellen er oversat i en metodevejledning, der rummer en meget håndgribelig og pragmatisk vejledning i evaluering af tværgående patientforløb. Evaluering af tværgående patientforløb i de fire faser viser sig i min forskning at fremme kollaboration, interorganisatorisk og interaktiv læring, såvel som identifikation af interorganisatoriske problemer og mulige løsninger. Problemer og løsninger, som den enkelte organisation, enhed eller afdeling ikke selv kan se eller har tilstrækkelig viden til at formulere. Metodevejledningen giver konkrete og praksisnære anbefalinger og retningslinjer og henvender sig til både driftsnære ledere, kvalitetsspecialiser, konsulenter, projektledere og medarbejdere.
Hvad virker, for hvem og hvordan?
I denne artikel har jeg fremhævet de væsentligste udfordringer og muligheder ved anvendelsen af PDSA-cirklen i tværgående forbedringsarbejde i det danske sundhedsvæsen. Mens PDSA-cirklen på papiret og i teorien tilbyder et struktureret redskab til forbedringsarbejde, er dens effekt ofte begrænset af manglende medarbejderinvolvering og ukvalificerede evalueringsprocesser. Når Study-fasen gennemføres i tværgående og tværsektorielt forbedringsarbejde er det yderligere påvirket af en række negative sociale og kontekstuelle faktorer, der hæmmer samarbejde, kvalificeret evaluering og læring.
Min forskning viser, at ved at styrke den kollaborative evaluering og sikre systematisk inddragelse af medarbejdere på tværs af sektorer, kan vi ikke kun øge læringspotentialet men også forbedre vores fælles forståelse af komplekse folkesundhedsproblemer og potentielt forbedre kvaliteten af patientforløb på tværs af organisatoriske grænser.
Forbedringsarbejde skal gerne komme patienter og borgere til gavn. Når det gælder tværsektorielle forbedringsindsatser, er det tydeligt, at dette kræver en meget stærk ledelsesunderstøttelse både på tværs af organisatoriske grænser og sektorer, og vertikalt indenfor den enkelte organisation. Det betyder konkret, at ledelsen på øverste strategiske niveau skal støtte op om forbedringsarbejdet internt og på tværs, samt sikre at alle ledelsesniveauer er engageret og deler samme mål og ambitioner for det tværsektorielle forbedringsarbejde. Er denne ledelsesunderstøttelse ikke til stede ses en stor risiko for at ny viden og vigtig interorganisatorisk læring forbliver indkapslet i de projektgrupper, der arbejder med tværsektorielle forbedringsindsatser, hvorved mulighederne for at læring resulterer i tværsektorielle forbedringer for patienter i tværgående forløb reduceres. Denne risiko er til stede i det Nationale Ledelsesprogram, LKT teams og i det Klyngesamarbejde, som finder sted i alle regioner.
Referencer
- Laubek, 2014
- Dahler-Larsen & Krogstrup, 2001; Bendix et al., 2017
- Dahler-Larsen 2006; Krogstrup, 2024
- OECD, 2017; WHO, World Bank & OECD, 2018
- KORA et. Al., 2016; Bendix et. Al., 2017; Mainz 2017)
- Krogstrup & Mortensen, 2021; Shulha et al., 2016; Cousins, 2020
- Petersen et al., 2022)
- Patton, 2015; Shulha et al., 2016; Cousins, 2020; Bourgeois et al., 2023
- Christie et al., 2017
- Patton, 2015; Cousins, 2020: Krogstrup, 2024
- Greenhalgh & Peacock, 2005; Moher et. al., 2015; Pawson et al., 2005
- (Knudsen et al., 2019; Thor, 2007; Øvretveit & Gustafson, 2002; McNicholas, 2019)
