Forestil dig, at du beder en AI om at finde og bestille et hotel. En AI-chatbot kan undersøge mulighederne og foreslå tre hoteller. En AI-agent kan fortsætte arbejdet: gå ind på bookingsiden, vælge ud fra dine præferencer, udfylde oplysningerne og føre reservationen frem til det punkt, hvor den så lige skal have din godkendelse. [1]
Det er kernen i forskellen. Agenten får en opgave eller et mål og kan derfra selv vælge, hvilke trin der er nødvendige, og hvilke digitale værktøjer den skal bruge. Den kan navigere på hjemmesider, udfylde formularer og arbejde inde i computerprogrammer, den har fået adgang til. Den nøjes altså ikke med at fortælle et menneske, hvad der skal gøres. [1,2]
Det åbner nogle interessante muligheder i en klinisk hverdag, hvor en stor del af arbejdet netop består i at få andre dele af systemet til at gøre noget.
En indlagt patient skal for eksempel til røntgenundersøgelse. Henvisningen skal formuleres, undersøgelsen bestilles, transporten koordineres, og der skal sikres opfølgning på svaret. En agent vil potentielt kunne udføre, koordinere og følge op – og måske også fungere som en kontrollerende eller validerende instans.
Det flytter AI fra at være noget, der hjælper os med information og tekst, til noget, der også kan udføre og følge op på dele af arbejdet. Det gælder ikke mindst i de sårbare overgange, hvor information, ansvar og næste skridt skal følge patienten på tværs af afdelinger og sektorer.
De første skridt er allerede taget
Det er ikke kun et fremtidsscenarie. En nyere kortlægning viser, at de første anvendelser især findes i administrative opgaver, men at agenter allerede er på vej ind i flere dele af selve patientforløbet. [3]
Et dansk eksempel er AID_MIND på OUH. Her har man arbejdet med at udvikle og afprøve et agentbaseret system til blandt andet plejeforløbsplaner og udskrivningsrapporter. Slutproduktet er stadig tekst, men systemet udfører selv flere af trinnene frem mod den: Det finder relevante oplysninger i patientjournalen, følger reglerne for den konkrete dokumenttype og genererer et udkast, mens en særskilt valideringsagent kontrollerer blandt andet faktuel konsistens og kildegrundlag. Til sidst læser og godkender en sygeplejerske dokumentet. [4]
Jo flere systemer og handlemuligheder en agent får adgang til, desto større bliver potentialet. Men en fejl kan også få en anden karakter. Den behøver ikke længere blive stående som en forkert sætning i et udskrivningsnotat. Den kan blive omsat til en forkert handling – og den handling kan blive udgangspunkt for den næste.
Når AI selv finder vejen
En del af styrken ved agentteknologien er, at systemet ikke behøver at få hvert trin beskrevet på forhånd. Det får et mål og finder selv en vej derhen. [2]
En sikkerhedstest har allerede vist, at det kan føre et system ad veje, udviklerne ikke havde forudset. I en test hos OpenAI fandt modeller eksempelvis en hidtil ukendt sårbarhed og brugte den til at komme videre end det afgrænsede testmiljø. Det interessante er ikke fortællingen om en AI, der “slipper ud”, men mekanismen: Et system, der selv kan finde vejen til et mål, kan også finde en anden vej end den, vi havde forestillet os. [5]
Samtidig er dagens agenter langt fra stabile på komplekse sundhedsopgaver. I HealthAgentBench, et bud på et nyt evalueringsværktøj for kliniske AI-agenter, klarede den bedst præsterende agent omkring 42 procent af 54 realistiske flertrinsopgaver. [6]
Det tal er først og fremmest et øjebliksbillede. Udviklingen går hurtigt, og agentiske løsninger er allerede på vej ind i virkelige arbejdsgange. Derfor giver det ikke meget mening at vente med patientsikkerhedsspørgsmålene, til teknologien er “færdig”. Hvis vi vil være med til at sætte rammerne, er det nu, vi skal begynde. [3,6]
Mennesket som sikkerhedsbarriere
Det oplagte svar er menneskelig kontrol: Agenten gør arbejdet, men et menneske godkender.
Det kan være en vigtig sikkerhedsbarriere. Men kun hvis den faktisk virker i praksis.
Forskere peger på, at det ikke er nok blot at placere et menneske et sted i processen. Den sundhedsprofessionelle skal have den nødvendige indsigt og tid til at vurdere det, agenten har gjort, opdage fejl og kunne gribe ind i tide. [7]
Det er en velkendt udfordring i patientsikkerhedsarbejdet. Den arbejdsgang, vi tegner på papiret, er ikke nødvendigvis den, der findes i den kliniske hverdag med tidspres, afbrydelser og mange samtidige opgaver. En godkendelsesknap er ikke en robust barriere, hvis den, der skal godkende, reelt ikke har tid, information eller mulighed for at kontrollere det arbejde, agenten allerede har udført. [7]
Sikkerheden afhænger derfor ikke kun af, hvor god selve AI’en er. Den afhænger også af de rammer og adgange, vi giver den, de arbejdsgange, vi bygger omkring den, og menneskers mulighed for at opdage, stoppe og rette op, når noget går galt. [7]
Jo mere en agent får mulighed for at handle, desto vigtigere bliver dens mandat. Hvad må den gøre selv, og hvornår skal den stoppe? Hvordan opdager vi, hvis noget bevæger sig i den forkerte retning? Kan handlinger omgøres? Kan vi bagefter se, hvad der skete? Og hvem opdager, hvis flere hver for sig rimelige handlinger tilsammen fører et patientforløb det forkerte sted hen?
Teknologien er ny. Spørgsmålene om arbejdsgange, barrierer, ansvar og evnen til at opdage og håndtere fejl er det ikke.
Derfor skal patientsikkerheden med fra starten, når AI-agenter finder vej ind i sundhedsvæsenet – mens vi stadig er ved at beslutte, hvad de skal have lov til.
Vi har brugt de seneste år på at lære, at vi ikke ukritisk skal stole på, hvad generativ AI siger.
Det næste spørgsmål bliver vanskeligere:
Hvad vil vi lade den gøre?
