AI in de Zorg: van beleid naar de werkvloer. Interview met Jacqueline Pronk, UMC Utrecht

Veel zorgorganisaties onderzoeken de mogelijkheden van de inzet van AI. Eerder beschreven we hoe Beweging 3.0 de kansen van minder administratieve lasten door AI, met name door LLM’s, verkent. Ook in het UMC Utrecht wordt gewerkt aan de inzet van LLM’s voor administratieve lastenverlichting. Een deel van de toepassingen worden door het UMC Utrecht zelf ontwikkeld. Het ziekenhuis heeft hiervoor een kwaliteitssysteem opgezet voor de in-huis ontwikkeling en implementatie van AI-toepassingen en Software als Medisch Hulpmiddel. Jacqueline Pronk, stafadviseur kwaliteit & veiligheid Digitale zorg, vertelt in dit interview meer.

Jacqueline werkt samen met haar collega’s aan de ontwikkeling van veilige AI-applicaties, waaronder de inzet van LLM’s. In dit artikel staan we eerst stil bij het belang van een goed kwaliteitssysteem voor de ontwikkeling van AI en de voorwaarden die daarvoor nodig zijn. Daarna laten we zien hoe je organisatiebeleid ontwikkelt en dit effectief overbrengt naar medewerkers. Tot slot deelt Jacqueline de eerste ervaringen met de inzet van AI bij het opstellen van ontslagbrieven.

Drie tips voor een kwaliteitssysteem
Wat is een kwaliteitssysteem eigenlijk? Een kwaliteitssysteem bestaat uit allerlei procedures met bijbehorende templates; onderwerpen die specifiek te maken hebben met de ontwikkeling van AI-implementaties zijn bijvoorbeeld procedures voor design en development, risicomanagement, klinische evaluatie en monitoring/post-market surveillance. Door de procedures te volgen en de templates te gebruiken bij de ontwikkeling van je toepassing, wordt er al vroeg in het proces nagedacht over allerlei zaken die een impact hebben op de kwaliteit, veiligheid en betrouwbaarheid van applicaties.

Jacqueline geeft aan dat een kwaliteitssysteem wettelijk verplicht is bij de in-huis ontwikkeling en inzet van een medisch hulpmiddel met software/AI, omdat je dan te maken hebt met de Medical Device Regulation (MDR) of In-Vitro Diagnostics Regulation (IVDR). Met een goed kwaliteitssysteem kun je zelf in-huis applicaties ontwikkelen. Het voordeel hiervan is dat je maatwerk-applicaties kan ontwikkelen die commercieel (nog) niet beschikbaar zijn. De afgelopen periode is binnen het UMCU veel tijd besteed aan het ontwikkelen van een kwaliteitssysteem voor AI.

We vragen Jacqueline wat er in een kwaliteitssysteem voor AI niet mag ontbreken:

1. Een goede risicoanalyse
Jacqueline geeft aan dat je vooraf altijd moet bedenken wat de risico’s zijn van het gebruik van de applicatie, wat de mogelijke impact is op de patiënt of gebruiker en wat je kunt doen om de risico’s te minimaliseren. Bij AI gaat het om vragen als: kan het model hallucineren, wat als de toepassing niet beschikbaar is of als de performance van het model achteruitgaat, wat als de gebruiker de tool anders inzet dan waar die voor bedoeld is? Op basis van die analyse worden maatregelen genomen, denk bijvoorbeeld aan verbeteringen aan de software, heldere instructies over de werking van de applicatie, veiligheidswaarschuwingen en training van gebruikers. Vervolgens wordt aan het einde van de risicoanalyse een risk-benefit afweging gemaakt om te beoordelen of de toepassing verantwoord ingezet kan worden.

2. Een multidisciplinair aanpak
Bij het ontwikkelen van een applicatie is het helpend om met een multidisciplinair team te werken met o.a. clinici, datawetenschappers, privacy officers en de afdeling kwaliteit en veiligheid. Op die manier wordt de kwaliteit en veiligheid van applicaties vanuit verschillende perspectieven bekeken om op die manier tot een gedragen en veilige toepassing te komen.

3. Applicaties blijven monitoren
Een eenmalige goedkeuring voor gebruik is niet genoeg. Bij allerlei toepassingen, maar zeker bij AI-toepassingen is het periodiek monitoren van applicaties na ingebruikname belangrijk (post-market surveillance). Op die manier kan je de performance van het model in de gaten blijven houden. Je krijgt scherp of het AI-model afwijkend gedrag vertoont ten opzichte van de verwachting of nagaan of er incidenten zijn geweest. Zo kunnen eventuele onverwachte effecten tijdig worden gesignaleerd en aangepakt.

AI-chatbot is handig: gebruik het verstandig!

Ontdek de praktische hulpmiddelen

Samen tot beter beleid komen
Naast een goed kwaliteitssysteem zijn er binnen het UMCU ook regels voor beleid op het gebruik van LLM’s. Dit is opgesteld vanuit de CISO-officer met input van stakeholders (multidisciplinair) . De uitdaging daarbij is om de balans te vinden tussen veiligheid en praktische toepasbaarheid. Jacqueline geeft een aantal tips voor het opstellen van effectief AI-beleid:

• Houdt het praktisch en kort. Niemand zit te wachten op een beleidsstuk van tien pagina’s
• Benut bestaand beleid. Kijk wat er al is bij andere (zorg)organisaties. Dat scheelt tijd en moeite, ook al blijft maatwerk soms nodig.
• Sparren en kennisdelen helpt enorm. Er zijn landelijk al mooie initiatieven en netwerken/werkgroepen op het gebied van AI-implementatie. Specifiek voor de zorg en de ziekenhuizen is het UMC Utrecht is aangesloten bij het Kennisnetwerk AI implementatie in de zorg: via dit netwerk komen medewerkers van ziekenhuizen en kennisinstellingen ieder kwartaal samen om kennis, ervaringen en inzichten uit te wisselen.

“Een nuttig netwerk om met collega’s uit andere ziekenhuizen van gedachten te wisselen en samen verder te komen met de implementatie van AI in de zorg. Ook worden de lijntjes korter om tussendoor met elkaar te sparren.”

Jacqueline Pronk

Met beleid naar de werkvloer
Met een goed kwaliteitssysteem en beleid ben je er niet. Uiteindelijk draait het om het gedrag van mensen. Dat stukje gedrag is altijd een uitdaging, maar zeker in een grote organisatie. Jacqueline geeft daarom de volgende tips voor de het overbrengen van beleid op de werkvloer:

  • Betrek de afdelingshoofden in hun verantwoordelijkheid voor het vertalen van beleid naar de praktijk.
  • Laat de risico’s van AI regelmatig terugkomen in opleidingen, congresdagen of seminars. Basiskennis over AI is bij veel medewerkers nog onvoldoende bekend. Denk aan het schrijven van prompts en kennis van relevante wet- en regelgeving. Dit moet meer aandacht krijgen.
  • Biedt informatie op verschillende manieren aan, omdat medewerkers verschillende manieren van leren hebben.
  • Maak AI-trainingen onderdeel van het inwerktraject, zodat nieuwe medewerkers vanaf het begin de nodige informatie meekrijgen.

Artsen laten de hulp van AI bij ontslagbrieven niet meer los
We vragen Jacqueline naar een voorbeeld van een AI-toepassing in hun ziekenhuis. Ze noemt het opstellen van concepten voor ontslagbrieven. Voor het Large Language Model wordt gebruik gemaakt van een Microsoft Azure-omgeving die beheerd wordt door het UMC Utrecht, die zo veilig mogelijk is ingericht. Vanuit privacy en informatieveiligheid is vervolgens een risico-analyse uitgevoerd op het gebruik van die omgeving om zeker te weten dat we er veilig en verantwoord gebruik van kunnen maken. Vervolgens is een pilot gestart op zowel de Intensive Care (IC) als de Neonatale Intensive Care Unit (NICU). In de pilot is gekeken hoe AI kan helpen bij het opstellen van een eerste versie van een ontslagbrief. Het systeem genereert een opzet, een arts-assistent gebruikt de opzet als basis voor zijn ontslagbrief en vervolgens vindt een review plaats door de verantwoordelijk specialist. Deze laatste twee stappen zijn standaard onderdeel van het werkproces en zijn onmisbaar: de verantwoordelijkheid voor de brief ligt immers bij de arts. De intentie op dit moment is dan ook niet om het proces volledig te vervangen, maar om een administratieve workflow te ontwikkelen waarin AI een ondersteunende rol speelt en potentieel tijdwinst oplevert. “Als we het model een eindversie van een ontslagbrief zouden laten schrijven, komen er hele andere risico’s bij kijken, en dat is op dit moment nog niet verantwoord en ook niet de insteek”, zegt Jacqueline.

Het is lastig te meten hoeveel tijdwinst het systeem oplevert, maar artsen ervaren zoveel ondersteuning dat ze het niet meer willen missen. De toepassing is nu dan ook officieel in gebruik genomen bij de twee afdelingen. Jacqueline adviseert andere organisaties om, net als bij deze pilot, klein te beginnen en goed na te denken over de gebruikerseisen, en de mogelijke impact van een toepassing.

“Als we het model een eindversie van een ontslagbrief zouden laten schrijven, komen er hele andere risico’s bij kijken, en dat is op dit moment nog niet verantwoord en ook niet de insteek”

Jacqueline Pronk

Geef het stokje door aan….
We vragen Jacqueline waar het volgende artikel in deze levende case study over moet gaan. Jacqueline is nieuwsgierig naar hoe andere organisaties zorgen dat medewerkers op de hoogte zijn van de ontwikkeling en/of toepassing van AI en zich houden aan beleid. Jacqueline geeft het stokje daarom door aan één van de andere deelnemers aan het programma Informatieveilig Gedrag in de Zorg en is benieuwd naar hun ervaringen met het inzetten van AI in de zorg.