12. december 2017
Når jeg er ude at arbejde med forbedringsteam, og vi kigger på deres data, taler vi jævnligt om, hvordan et enkelt meget højt eller lavt datapunkt skal tolkes. Når der pludselig opstår et afvigende datapunkt, føler teamet ofte trang til at handle og ændre deres arbejdsgange. Men man skal passe på med at handle på et enkelt datapunkt som – trods den høje eller lave værdi – i virkeligheden er udtryk for tilfældig variation.
Jeg har selv været ude i en situation, hvor vi var tæt på at ændre praksis på et hospital på grundlag af et enkelt afvigende datapunkt, som faktisk viste sig at ligge inden for kontrolgrænsen og dermed kun viste tilfældig variation (common cause variation).
Højeste mortalitet
Jeg arbejdede med de landsdækkende kliniske databaser i en kvalitetsafdeling på et hospital, og en dag fik vi den nyeste årsopgørelse fra den landsdækkende database for blødende og perforerede ulcus. Det var ikke godt, vi havde en virkelig høj mortalitet for perforerede ulcus, den højeste i regionen, og vi var tæt på de højeste i landet!
Jeg vidste, at direktionen vil gå ind i sagen, og at afdelingsledelsen og kvalitetsafdelingen vil blive bedt om at komme med tiltag med det samme. Men spørgsmålet var selvfølgelig, hvad vi helt præcist kunne udlede af de data? Hvad var årsagen til den høje mortalitet? Var det blot en uheldig periode med fx mere syge patienter og derfor højere mortalitet, eller var der en årsag vi kunne gøre noget ved? Og hvilke tiltag vil så være oplagte?
Ved et tilfælde var jeg ugen inden blevet undervist af overlæge Jacob Anhøj, der er ekspert i SPC (Statistical Process Control), og jeg var blevet meget begejstret for fokus på variation i data. Jeg havde fået nogle statistiske ’spilleregler’, som fortæller, om variationen er tilfældig, eller om der kan forventes at være en særlig forklaring på den.
For at bruge de nye spilleregler på vores data for perforerede ulcus var jeg nødt til at have flere datapunkter. For at vurdere variation er det nødvendigt at se på udviklingen i data over tid. Data på årsbasis er ikke nok. Jeg henvendte mig til NIP-sekretariatet (nu: RKKP) og bad om data på kvartalsniveau (volumen var for lidt til at arbejde med måneds tal) for nogle år tilbage og lavede et kontrolkort (et P-diagram). Grunden til at jeg lavede et kontrolkort og ikke et seriediagram, var at jeg var interesseret i vide, om der var én eller flere kvartaler i det pågældende år (2008), hvor mortaliteten ud fra et statistisk synspunkt var påfaldende høj. For at kunne sige det, havde jeg brug for kontrolgrænser, som seriediagrammet ikke arbejder med.
Hvad sagde kontrolkortet?
Kontrolkortet (figur 1) viser, at resultaterne over tid giver udtryk for det man kalder tilfældig variation (common cause variation) (4). Det vil sige, at fordelingen af datapunkterne over tid er sådan, at processen er stabil og forudsigelig. Kortet viser, at der rigtigt nok var en relativ høj mortalitet i Q3 2008, men datapunktet ligger under den øverste kontrolgrænse og viser dermed ’kun’ tilfældig variation. Så selvom gennemsnittet for 2008 ligger højere end de andre år bl.a. på grund af det høje datapunkt i Q3 2008, kan ud fra denne analyse ikke konkluderes, at data viser en forværring af behandlingskvaliteten.
Hvordan skal der handles på disse resultater?
At data ikke viste en forværring af behandlingskvaliteten i 2008, trods den højere mortalitet, var en banebrydende konklusion! En konklusion vi kun kunne nå frem til, fordi vi havde fået adgang til flere historiske data, og fordi vi anvendte SPC, dvs. analyse af data over tid i serie- og kontroldiagrammer.
Hvordan skal der så reageres på disse resultater? I og med at data viste tilfældig variation, var spørgsmålet ikke, om der skulle handles på én eller flere afvigelser i data, man om vi var tilfreds med det niveau, som data viste over hele perioden? Gennemsnittet (kontrol kort arbejder med gennemsnit, seriediagram med median), som figuren viser, lå over perioden 2005-2008 på 28,5% mortalitet for denne patientgruppe. Den nationale standard lå på 20%, så svaret var nej, niveauet var ikke tilfredsstillende! I stedet for at ’brandslukke’, blev vi nødt til at kigge på systemet. Vi måtte analysere de relevante arbejdsgange og udfordringer, der gjorde, at vi lå på det høje niveau. Vil det så i øvrigt sige, at Q3 2008 ikke var værd at undersøge overhovedet? Nej, der kan ligge rigtig meget læring i at undersøge den høje mortalitet for Q3 2008, men selve det ene høje datapunkt giver ikke anledning til at ændre systemet. Det er det ikke-tilfredsstillende gennemsnit, der giver anledning til at ændre systemet.
Undgå tampering
Hvis vi ikke havde lavet analysen og dermed ikke havde fået øje på, at data viste tilfældig variation, havde stemningen omkring denne høje mortalitet været helt anderledes. Og risikoen for, at der skulle handles på de sidste høje mortalitetsdata i 2008, i stedet for at handle på systemet som helhed, havde været stor.
Og her når vi til kernen. W. Edward Demings, der er en af forbedringsvidenskabens fædre kalder det at reagere på et enkelt afvigende målepunkt for ’tampering’. Det er et problem, idet det øger variation og dermed forringer kvaliteten (1,2). Til sammenligning, tænk hvis en praktiserende læge justerede insulinmængden efter hver eneste blodsukkermåling hos en af sine diabetespatienter. Variationen vil blot stige, da patientens blodsukkerniveau over tid også uden insulin vil vise variation i forvejen. Derfor skal det først undersøges hvad for en variation (tilfældig eller ikke-tilfældig), patientens blodsukkermålinger viser, før der kan besluttes hvilken type handling, der er brug for.
Faren lurer
Selvom mit eksempel er fra 2008, mener jeg det fortsat er højaktuelt. I flere sammenhænge, fx i de driftsmålstyringsrapporter, som Region Hovedstaden sender ud til hospitalerne, er fokus primært på overholdelse af den regionale fastsatte standard for de pågældende indikatorer. Rød betyder, at standarden ikke er opnået, grøn betyder at standarden er overholdt. Det betyder, at farven kan skifte fra uge til uge, uden at man kan se om der er reelt er en udvikling i data. Også i det nationale kvalitetsprogram – hvor der ellers er meget fokus på kvalitetsforbedring med udgang i IHI’s (Institute for Healthcare Improvement) redskaber – arbejdes der med afrapportering på årsbasis for de valgte indikatorer, hvilket næppe giver mulighed for at analysere variation over tid. Ved begge eksempler lurer faren for tampering.
Når jeg har været ude på min ugentlige løbetur, og jeg har følt mig i usædvanlig dårlige form netop i denne uge, så ændrer jeg jo ikke på mine rutiner med det samme. Jeg venter lige og ser, hvordan det går i de næste uger. Vi er nødt til at acceptere, at alle processer viser variation over tid. Det gælder også kliniske processer.
Litteratur
Hvordan kan ledelsen undgå tampering, altså undgå at reagere uhensigtsmæssig på data ved at reagere på tilfældig variation? Bob Lloyd, direktør for forbedring ved IHI (Institute for Healthcare Improvement), foreslår at ledelsen tilegner sig kompetencer i fire centrale områder, sådan at ledelsen kan ’blink correctly’, når de skal tage beslutninger.
Kilde: Health Care Executive, MAY/JUNE 2010. Lloyd, R. Helping Leaders Blink Correctly part i and ii
Forbedringsbloggen handler om forbedringsarbejde i sundhedsvæsenet.
Indlæggene skrives af forbedringsagenter, der er ansat hos - eller samarbejder med - Dansk Selskab for Patientsikkerhed.
Formålet med bloggen er at dele erfaringer med og fremme dialog om forbedringsarbejdet.