Evalueringsprocesser og valg af data – og forkert brug af samme – er nogle af de emner, Charlotte Laubek kommer ind på, når hun er keynote på PS!’ konference om patientsikkerhed i det sammenhængende sundhedsvæsen den 7.-8. oktober. Her vil hun blandt andet fortælle om, hvor svært det kan være at findes et fælles fodslag i forhold til patientsikkerhed og kvalitet på tværs af sektorer – især, når det er de forkerte evalueringsmetoder, der bruges.
– Når vi arbejder med forbedringsmodellen og evalueringsprocesser på tværs af sektorerne – for eksempel i kvalitets- og læringsteams, klyngesamarbejde, Det Nationale Ledelsesprogram eller i lokale tværsektorielelle forbedringsarbejder – så har man meget ofte svært ved at få en fælles forståelse af, hvad problemet egentlig er. Af samme grund kan det være rigtigt svært at definere, hvad de gode løsninger så er. Og når man har de to udfordringer, kan det være endnu sværere at evaluere noget som helst, siger Charlotte Laubek, ph.d. i evaluering, opbygning af evalueringskapacitet og interorganisatorisk læring.
Inddrag de relevante medarbejdere
I forbindelse med sin ph.d. benyttede hun sig af et case-studie, hvor hun blandt andet fokuserede på et forbedringsprojekt, som løb over tre år.
– Til et af de afsluttende møder sidder medarbejderne nærmest bare og kigger på hinanden. En af dem siger ”Jamen, vi er jo ikke kommet nogen vegne – og en af udfordringerne er, at vi slet ikke er enige om, hvad det her projekt handler om”. Nogle konsulenter havde trukket data på forskellige indsatser, men reaktionen fra både en overlæge, en klinisk sygeplejerske og en almen praktiserende læge er: ”De her data, I har trukket, fortæller overhovedet ikke noget om det, vi arbejder med. Hvorfor har I ikke spurgt os om, hvilke data der er relevante?”, fortæller Charlotte Laubek og fortsætter:
– Det er en meget god illustration af de problemer, der kan opstå ved dén måde at understøtte forbedringsarbejde. Det kan være drevet af konsulenter, som har trukket de data, som de syntes giver mening. Eller data, som er tilgængelige og menes relevante i den ene sektor. Men der er behov for, at medarbejderne på tværs og i fællesskab kvalificerer data – ellers giver det hverken mening for dem eller et retvisende billede af virkeligheden.
Til et af de afsluttende møder sidder medarbejderne nærmest bare og kigger på hinanden. En af dem siger ”Jamen, vi er jo ikke kommet nogen vegne – og en af udfordringerne er, at vi slet ikke er enige om, hvad det her projekt handler om”. Nogle konsulenter havde trukket data på forskellige indsatser, men reaktionen fra både en overlæge, en klinisk sygeplejerske og en almen praktiserende læge er: ”De her data, I har trukket, fortæller overhovedet ikke noget om det, vi arbejder med. Hvorfor har I ikke spurgt os om, hvilke data der er relevante?”
Charlotte Laubek
Sundhedsvæsenet har igennem mange år brugt det, man i evalueringssproget betegner som summative, kvantitative og tekniske evalueringsmetoder. Men der er brug for re- og nytænkning i dén del af lærings- og evalueringsprocessen. Især når det vedrører tværgående og komplekse problemstillinger, mener hun.
– I evalueringslitteraturen er det helt evident, at når man skal evaluere noget, der er komplekst, så kan de metoder faktisk ikke bruges. Der skal man have fat i nogle interaktive evalueringsmetoder, der er mere dynamiske – og hvor det er okay at ændre på indikatorer og indsatsen undervejs i processen, som man bliver klogere. Der skal noget andet til end f.eks. statistisk proceskontrol – og hvad man ellers har arbejdet med, fastslår hun, og tilføjer at det er nødvendigt at se mere på virkninger i forløb – end blot på ”output”, KPIér eller præstationsdata.
Nytænkning af PDSA-modellen
I forbedringsarbejdet med patientsikkerhed er PDSA-modellen (plan, do, study, act) et centralt element. Det kan da også sagtens fortsætte med at være et af de vigtigste arbejdsværktøjer, men den skal bruges mere kvalificeret, end tilfældet er i dag, mener Charlotte Laubek.
En gennemgang af den internationale litteratur på området viser, at især study-delen – og dermed evalueringsarbejdet – vil have godt af en mere kvalificeret tilgang.
– Virkningen af PDSA-cirklen positiv, men meget begrænset. Det kan hænge sammen med mange ting. Men meget peger på, at vi ikke er særlig dygtige til at evaluere. For eksempel er meget forbedringsarbejde på tværs af hospitalsafdelinger – og særligt på tværs af sektorerne – ret komplekst. Og alligevel bruger vi – fuldstændig ureflekteret – de samme evalueringsmetoder, og laver de samme ukvalificerede evalueringer, som vi plejer. Det hæmmer mulighederne for læring – og derfor også potentialet for forbedringer, påpeger Charlotte Laubek.
– Vi er dygtige til at planlægge i plan-fasen og til at ”do” i do-fasen. Men når vi kommer til study-fasen og evaluering, så viser forskningen, at vi ofte kun gør det én gang, og så opskalerer man. Men det er ukvalificeret, og det sker uden tanke på, om det har den ønskede virkning. Tit ved vi ved ikke, om de initiativer, vi sætter i gang, forbedrer patientsikkerheden og kvaliteten. Vi har kun nogle antagelser om det, siger Charlotte Laubek.
Læs om forbedringsarbejde og PDSA-modellen her.
Frygter ny struktur uden sammenhæng
Som medlem af forskningsudvalget i Dansk Selskab for Kvalitet i Sundhedsvæsenet frygter hun, at den manglende fælles forståelse af de komplekse problemer, der er i de tværgående forløb, kommer til at gå ud over kvalitets- og forbedringsarbejdet, når en ny sundhedsreform træder i kraft.
– Vi har på en konference lige diskuteret implikationerne af Sundhedsstrukturkommissionens anbefalinger. Jeg kan frygte, at man fortsat vil stille sig op i hver sin sektor – og tale ud fra den forståelse, man har dér. En forståelse, man har opbygget via de data, man selv trækker i sin egen sektor og via sin egen institutionaliserede virkelighedsforståelse af, hvad problemerne er. Dét taler man så ud fra. Men der er ikke rigtig nogen, der taler om patienternes forløb på tværs – som jo i virkeligheden er det, vi skal blive bedre til at arbejde med. En af grundene er, at vi både mangler data og viden om disse forløb, mener hun.
Det gælder om at skabe mening, motivation og ejerskab for at drive nogen som helst forbedringer. Min forskning viser, at data om sammenhænge i tværgående patientforløb netop kan skabe denne motivation på tværs af sektorerne. Jeg vil gerne slå et slag for, at vi også på højt strategisk ledelsesniveau får nogle fælles mål og fælles ambitioner – og forfølger dem med passende data og evalueringsmetoder. Det er det, der driver, at vi kan lykkes med at forbedre patienternes forløb.
Charlotte Laubek
– Det gælder om at skabe mening, motivation og ejerskab for at drive nogen som helst forbedringer. Min forskning viser, at data om sammenhænge i tværgående patientforløb netop kan skabe denne motivation på tværs af sektorerne. Jeg vil gerne slå et slag for, at vi også på højt strategisk ledelsesniveau får nogle fælles mål og fælles ambitioner – og forfølger dem med passende data og evalueringsmetoder. Det er det, der driver, at vi kan lykkes med at forbedre patienternes forløb, siger Charlotte Laubek.
Savner mere forskning i primærsektoren
En anden af Charlotte Laubeks fokuspunkter er manglen på forskning i forbedringsarbejdet i kommunerne og almen praksis, hvorimod det på hospitalerne er langt mere almindeligt.
– Helt banalt har der ikke været forskningskompetencer i kommunerne. Og almen praksis har en helt anden organisering i små private virksomheder. Hvis de skal samles om at lave forskning ind i deres kvalitetsarbejde, koster det penge – og hvem skal finansiere det? Hospitalerne har både traditionen og kapaciteten til at gøre det, men har også været meget lukket om sig selv, fordi vi i det sekundære sundhedsvæsen har haft det styringsparadigme, der hedder, at man skal være effektive, subspecialisere sig og måle på, om man lykkes med kvaliteten inden for afgrænsede områder og specialer. Så man evaluerer inden for det, man selv leverer og er knapt så optaget af, hvad man leverer sammen med andre, vurderer Charlotte Laubek, og nævner for eksempel kræftpakkeforløb og lignende som eksempler.
– Vi kan se, at når vi bruger de rigtige evalueringsmetoder, så får klinikerne øje på både nogle tragiske hændelser i forløb og nogle åbenlyse forbedringsområder – som de ikke havde fået øje på, hvis de kun havde brugt data fra egen eller en enkelt sektor. Men det kræver, at man graver sig ned i forløbene: En dement patient har måske været indlagt fem gange, men det var første femte gang, man så, at hoften var brækket. Så der var en grund til, at patienten opførte sig anderledes, end vedkommende plejer. Men det opdagede man ikke i akutmodtagelsen, hvor man ikke så kompleksiteten i patientens forløb – eller så mønsteret i de gentagne indlæggelser. Man så det heller ikke i kommunen, fordi man manglede kompetencerne. Så der er masser af patientsikkerhed involveret i dette her. Vi overser simpelthen nogle kritiske og komplekse tilstande ved borgere, fordi vi ikke samarbejder og sammen kigger ind i, hvad problemerne egentlig er, slutter Charlotte Laubek.
