Kwaliteitslabel AI voor Zorg - Specifieke AI-toepassingen

Ethisch AI moet vertrekken vanuit een duidelijk zorgprobleem. Wanneer de toepassing gericht is op een concrete nood in de zorg, is de kans groter dat ze echt bijdraagt aan het welzijn van patiënten en geen technologie wordt zonder duidelijke meerwaarde.

Organisatorisch Een duidelijke probleemstelling is het vertrekpunt voor een verantwoorde inzet van AI. Wanneer het doel en de scope helder zijn, kan men beter beoordelen wat technisch mogelijk en zinvol is. Zo voorkomt men dat technologie wordt ingevoerd zonder duidelijke nood, en kan AI gericht bijdragen aan betere werkprocessen en aan de bredere missie en strategie van de organisatie.

Juridisch Een patiënt heeft recht op doelgerichte zorg en kwaliteitsvolle zorg. Omvat dit het gebruik van AI, dan dient dat op een op een weloverwogen en goed doordachte manier te gebeuren. Herevalueer het doel en de waarde na verloop van een redelijke tijd. Wees daarbij alert voor situaties van overbehandeling en efficiëntieverlies. Ook de implementaties van AI kan, mogelijks compleet onverwacht, tot zulke situaties leiden.

Ethisch Zeer brede ethische voordelen: welzijn patiënt, welzijn zorgpersoneel, zelfbeschikking patiënt, rechtvaardige allocatie van middelen, etc.

Klinisch Performantie-uitkomsten moeten prospectief gedefinieerd worden voor objectieve evaluatie.

Organisatorisch AI heeft vaak invloed op meerdere werkprocessen tegelijk. Daarom is het belangrijk om vooraf na te denken over hoe processen moeten aangepast worden. Als processen niet mee evolueren, kan automatisering zelfs contraproductief werken. Door deze impact goed te bekijken, kan AI beter bijdragen aan kwaliteit van zorg, efficiëntie, werkbaarheid en financiële duurzaamheid.

Juridisch Voor een beperkt aantal zeer specifieke AI-toepassingen stelt de AI Act het verplicht dat de instelling of zorgverstrekker die gekwalificeerd wordt als “gebruiksverantwoordelijke” de patiënten inhoudelijk kan toelichten wat de rol was van het AI-systeem en haar output in besluiten dat genomen worden t.a.v. de patiënt (zie artikel 86 AI Act). Het recht op uitleg ontstaat wanneer de besluiten nadelige gevolgen hebben gehad voor de gezondheid, veiligheid of respect voor de fundamentele rechten van de patiënt, of de patiënt andere rechtsgevolgen heeft ondervonden (zoals een hogere kosten, het verliezen van een terugbetaling of uitkering,…). Wees hierop voorbereid wanneer je AI-toepassingen introduceert die (a) de beoordeling van het in aanmerkingen komen van patiënten (of andere personen) voor overheidsuitkeringen en – diensten (waaronder gezondheidsdiensten) ondersteunen; of (b) die bedoeld zijn om noodoproepen van natuurlijke personen te evalueren en te classificeren of om te worden gebruikt voor het inzetten of het bepalen van prioriteiten voor de inzet van hulpdiensten, onder meer van politie, brandweer en ambulance, alsook van systemen voor de triage van patiënten die dringend medische zorg behoeven. Daarnaast blijven voor alle AI-toepassingen waarmee persoonsgegevens worden verwerkt de bepalingen uit artikel 22 van de GDPR m.b.t. geautomatiseerde individuele besluitvorming, waaronder profiling, van toepassing, net zoals dat het geval is voor andere types van medische software.

Ethisch Opnieuw heel brede ethische voordelen: betere samenwerking verhoogt kwaliteit van zorg en dus welzijn patiënt, etc.

Organisatorisch AI beïnvloedt hoe verschillende actoren samenwerken in het zorgproces. Daarom is het belangrijk om werkprocessen en rollen duidelijk in kaart te brengen. Zo wordt zichtbaar waar samenwerking nodig is tussen zorgprofessionals, IT en andere betrokkenen, en kan men ook voorzien in controles om de resultaten van AI-toepassingen te verifiëren.

Psychosociaal AI-gedreven taakverschuivingen beïnvloeden teamdynamieken en verantwoordelijkheden.

Juridisch Bij gebruik van AI in de gezondheidszorg gelden dezelfde regels over samenwerking (o.a. toestemming van de patiënt), gegevensdeling en beroepsgeheim. Het gebruik van AI mag geen vrijgeleide zijn om deze regels te passeren.

Klinisch Patiëntervaringen met AI-gestuurde zorg variëren en vereisen proactieve communicatie.

Organisatorisch AI kan de rol en werkervaring van zorgverleners en patiënten veranderen. Daarom is het belangrijk om deze impact actief op te volgen, bijvoorbeeld via duidelijke indicatoren rond kwaliteit van zorg, patiënttevredenheid en werkbeleving van medewerkers, zoals autonomie, leermogelijkheden en technostress.

Psychosociaal Veranderingen in professionele rol beïnvloeden werkbeleving en jobvoldoening.

Juridisch AI kan slechts een (medisch) hulpmiddel zijn: mensgericht en als instrument voor mensen met als uiteindelijke doel het welzijn van de mens te vergroten. Het is belangrijk om, voor elke individuele toepassing, op te volgen of deze juridische rode lijn niet overschreden wordt.

Ethisch Transparantie over het gebruik van AI is belangrijk om het vertrouwen tussen zorgverlener en patiënt te behouden. Open communicatie helpt patiënten om geïnformeerde keuzes te maken en ondersteunt hun recht op zelfbeschikking.

Juridisch Wanneer specifieke AI-toepassingen gebruikt worden in de zorg, verandert het recht op informatie van patiënten niet. Dat wil zeggen dat niet alleen de vraag of AI-toepassingen gebruikt worden, maar ook alle informatie over de naam, de rol, de impact … van de AI-toepassing de wettelijke regelingen volgt die we al lang kennen, in de eerste plaats zoals opgenomen in de Wet Patiëntenrechten en de AVG. (1) De Wet Patiëntenrechten focust op het begrijpen van de gezondheidstoestand, de tussenkomst en de mogelijke alternatieven. Per toepassing dient dan ook bekeken te worden in hoeverre het nodig is voor patiënten om deze te kennen en te begrijpen om te voldoen aan hun rechten als patiënt. (2) De AVG focust op informatie over de verwerking van mijn persoonsgegevens. Een antwoord krijgen op de vraag of AI-toepassingen gebruikt worden in mijn zorgproces behoort, in concreto, niet tot de te verstrekken informatie. Toch kan het zijn dat om aan alle rechten van de betrokkenen te kunnen voldoen het op een gegeven moment noodzakelijk is om uitdrukkelijk over het gebruik van AI te communiceren, al dan niet pro-actief. Dat zal bijvoorbeeld het geval zijn wanneer de geldige rechtsgrond voor de verwerking de toestemming van de betrokkene is.

Organisatorisch Bedrijfscommunicatie kan hierbij een rol spelen, alsook het geven van garanties over de menselijke rol in het zorgtraject

Ethisch Patiënten moeten vragen kunnen stellen en informatie krijgen over hun zorgproces. Dat ondersteunt geïnformeerde toestemming, beschermt hun autonomie en helpt misbruik of schade, bijvoorbeeld door privacy-inbreuken, te voorkomen. Tegelijk blijft de verantwoordelijkheid voor het gebruik van AI bij de zorgverlener en de organisatie, zodat die niet bij de patiënt wordt gelegd. Dit kan ook bijdragen aan langdurig vertrouwen in het zorgsysteem.

Organisatorisch AI zit vaak onzichtbaar ingebed in werkprocessen, waardoor patiënten niet altijd een specifieke toepassing kunnen weigeren. Daarom is het belangrijk dat duidelijk blijft dat menselijke specialisten een centrale rol behouden in de zorg. Heldere communicatie over het gebruik en de voordelen van AI voor de patiëntenzorg helpt daarbij om vertrouwen te behouden.

Ethisch Ondersteunt zelfbeschikking; rechtvaardigheid; verantwoordelijkheid

Juridisch De zorgverlener blijft in de eerste plaats verantwoordelijk voor de genomen beslissing, ook wanneer AI werd gebruikt als ondersteuning. Hou er echter rekening mee dat iedereen “die redenen heeft om aan te nemen dat er sprake is van een inbreuk op de bepalingen van [de AI Act], een met redenen omklede klacht indienen bij de betrokken markttoezichtautoriteit” (artikel 85 AI Act, samen gelezen met overweging 170). Het staat dus ook patiënten vrij om beslissingen te betwisten bij de markttoezichthouders op grond van schending van de AI Act.

Organisatorisch Klachtenprocessen rond AI-beslissingen vereisen duidelijke escalatie- en herzienprocedures.

Ethisch Waardengedreven en doelgericht beleid is belangrijk in termen van integriteit en wederzijds vertrouwen tussen zorgverleners, patiënten, instellingen, beleidsmakers, etc.

Organisatorisch Het is belangrijk om de impact van AI systematisch te evalueren. Dat kan via duidelijke indicatoren die aansluiten bij de strategie, waarden en doelstellingen van de organisatie. Door bijvoorbeeld procestijd, kosten, kwaliteit en flexibiliteit te meten vóór en na de invoering van AI, kan men nagaan of de toepassing werkelijk bijdraagt aan betere zorg en aan de missie van de instelling.

Psychosociaal Alignering met zorgverlenerswaarden is cruciaal voor duurzame AI-adoptie op de werkvloer.

Juridisch Binnen de diagnostische en therapeutische vrijheid van de zorgverlener dient altijd rekening gehouden te worden met de voorkeuren van de patiënt. Dit impliceert dat de impact van AI op kwaliteitsvolle zorg niet enkel moet worden beoordeeld op basis van efficiëntiewinsten voor de zorgverstrekker of -instelling, maar ook vanuit patiëntperspectief.

Ethisch Het welzijn van de patiënt kan, onopgemerkt, dalen indien een afdoende validatie ontbreekt. Daarbij is het belangrijk te beseffen dat niet-gevalideerde toepassingen in bepaalde settingen ook meer kwaad dan goed zouden kunnen doen.

Klinisch AI-toepassingen moeten lokaal gevalideerd worden, omdat prestaties kunnen verschillen tussen patiëntengroepen en zorgcontexten. Externe validatie alleen volstaat niet om te garanderen dat het systeem binnen de eigen instelling even goed werkt.

Organisatorisch Vooraleer een AI-toepassing breed wordt ingevoerd, is het belangrijk om eerst te bekijken of lokale validatie nodig of wenselijk is. Door de toepassing eerst op kleinere schaal te testen en intern te valideren, kunnen fouten opgespoord worden, groeit het vertrouwen bij medewerkers en kan de uitrol later veiliger en efficiënter verlopen.

Juridisch Worden de adviezen die wettelijk verplicht zijn ingewonnen? Denk hierbij in de eerste plaats aan het EC van de zorginstelling (voor onderzoek) en de DPO. Werden ook andere adviezen ingewonnen die misschien niet wettelijk verplicht zijn, maar wel beschreven staan in interne procedures? Afhankelijk van de toepassing, kunnen deze anders zijn. Denk bijvoorbeeld aan een EC in geval van nieuwe ethische vragen, de dienst preventie en bescherming op het werk in geval van AI met impact op werknemers, een comité medische technologie bij vragen over medische validatie en kwaliteit, een IT dienst in geval van impact op informatieveiligheid, de juridische dienst omwille van aansprakelijkheidsrisico’s …

Economisch Zonder evaluatie blijft een investering in AI vooral een kwestie van geloof in plaats van een onderbouwde keuze.

Ethisch Dit overlapt heel erg met puntje 8, zelfde argument: waardengedreven beleid is belangrijk in termen van integriteit en wederzijds vertrouwen tussen zorgverleners, patiënten, instellingen, beleidsmakers, etc.

Opmerking Zelfde bedenking als bij vraag 8. Als het over de impact gaat en niet de evaluatie zelf, zou ik dit opsplitsen in twee vragen.

Organisatorisch De meerwaarde van een AI-toepassing moet geëvalueerd worden door de prestaties van het zorgproces vóór en na de invoering te vergelijken. Daarbij is het belangrijk om niet alleen naar efficiëntie te kijken, maar naar meerdere dimensies, zoals kwaliteit van zorg, ervaring van patiënten en zorgverleners en duurzaamheid van het systeem. Ook is het zinvol om verschillende AI-alternatieven te overwegen voordat men tot uitrol overgaat.

Ethisch Het verzamelen van feedback over het gebruik van AI is belangrijk om na te gaan of de toepassing daadwerkelijk bijdraagt aan het welzijn van de patiënt en aan goede zorg.

Klinisch Systematische feedbackverzameling detecteert vroeg problemen die niet zichtbaar zijn in data.

Opmerking Voor AI-toepassingen met een bewezen werking zal de feedback vooral gaan over hoe dat systeem geïntegreerd wordt in de bestaande werking. Voor AI-toepassingen in een onderzoeksfase moet de feedback ook gaan over de toepassing zelf.

Organisatorisch Systematische feedback van gebruikers is belangrijk om de werking van AI en het zorgproces te blijven verbeteren. Die feedback kan verschillen naargelang de fase van de toepassing: bij onderzoek gaat ze ook over de technologie zelf, terwijl ze bij een bewezen toepassing vooral focust op de integratie in het werkproces. Door feedback te verzamelen van verschillende betrokkenen en die op te volgen binnen het procesteam en samen met IT, kan men de prestaties en impact van de toepassing beter bewaken en bijsturen.

Juridisch Verzamel enkel feedback conform de GDPR.

Ethisch Door AI-toepassingen na implementatie regelmatig opnieuw te evalueren, kan men nagaan of ze blijven bijdragen aan het welzijn van de patiënt en aan goede zorg.

Klinisch AI-toepassingen moeten ook na implementatie regelmatig opnieuw geëvalueerd worden, omdat hun prestaties in de praktijk kunnen veranderen. Periodieke opvolging is daarom technisch noodzakelijk om de kwaliteit en betrouwbaarheid van het systeem te blijven garanderen.

Organisatorisch Integreer deze evaluatie in de standaard processen waarmee ook andere tools continu gemonitord en geëvalueerd worden. Als blijkt dat er procesperformatieproblemen zijn, dient er te worden nagedacht over verbeteringen. Of als er nieuwe IT opportuniteiten zijn, kan men exploreren hoe het proces hier beter van wordt. Dus een combinatie van exploitatie en exploratie, ofwel ambidexteriteit.

Technisch Verandering in patiëntenpopulatie kan impact hebben op de prestatie.

Juridisch Voor zover de AI toepassing als hoog risico wordt beschouwd, dient er rekening mee te worden gehouden dat quasi alle verplichtingen worden geformuleerd als “gedurende de volledige levensduur” op te volgen. Post market surveillance en (klinische) evaluatie zijn dan noodzakelijk Enkele voorbeelden: (1) Als onderdeel van je risicomanagement systeem zal bijvoorbeeld gekeken moeten worden naar de adequaatheid van de risicobeheersmaatregelen en een risico-evaluatie gemaakt moeten worden (art. 9 AI Act); (2) De technische documentatie en automatische logs vereisen systematische opvolging en evaluatie (art. 10-11 AI Act); (3) Bij vermoeden van niet-conformiteit ontstaan er informatieverplichtingen voor de aanbieder. Deze zal ook corrigerende maatregelen moeten treffen die geïmplementeerd dienen te worden door de zorginstelling (art 20 AI Act).

Ethisch Signalen zoals problemen met patiëntveiligheid, privacy, zelfbeschikking of rechtvaardigheid kunnen aanleiding geven om een AI-toepassing opnieuw te beoordelen of bij te sturen. Deze ethische waarden helpen te bepalen of het gebruik van AI nog verantwoord is.

Klinisch Prestatie-indicatoren voor AI moeten zowel technische als klinische parameters omvatten.

Organisatorisch Duidelijke en vooraf bepaalde KPI’s helpen om objectief op te volgen of een AI-toepassing bijdraagt aan de strategische doelstellingen van de organisatie. Wanneer deze indicatoren niet worden gehaald, of wanneer er veel klachten komen van patiënten of medewerkers, kan dat een signaal zijn om de toepassing bij te sturen of opnieuw te beoordelen.

Juridisch Zoals hierboven aangehaald, benadrukte de wetgever dat het beheer van een AI-systeem een continu en iteratief proces moet zijn. Enkele specifieke indicatoren die bijzonder nazicht uit dienen te lokken zijn: (1) Ernstige incidenten (bv. schade aan gezondheid van een patiënt of medewerker, schade aan de rechten van de patiënt, verstoring van kritieke infrastructuur,…); (2) De in een gebruiksaanwijzing aangeduide niveaus van nauwkeurigheid of robuustheid worden niet gehaald; (3) Risico’s die tijdens de ontwikkelingsfase niet waren geïdentificeerd komen naar boven tijdens het gebruik, inclusief problemen door interactie-effecten.

Ethisch Vooraf vastgelegde criteria helpen om te bepalen wanneer een AI-toepassing moet worden opgeschort of stopgezet. Daarbij spelen ethische overwegingen een belangrijke rol, zoals het welzijn van de patiënt, privacy, zelfbeschikking en rechtvaardigheid.

Juridisch Expliciete exitcriteria zijn essentieel voor patiëntveiligheid en juridische aansprakelijkheid. Het AI systeem moet zo gebouwd zijn dat het exit toelaat.

Klinisch Vooraf vastgelegde stopscenario's voorkomen dat slechte AI-systemen te lang in gebruik blijven.

Organisatorisch Nodig om snel te kunnen handelen.

Ethisch Het betrekken van zorgverleners en medewerkers bij de selectie of ontwikkeling van AI helpt om de kwaliteit van zorg te bewaken en morele stress bij personeel te vermijden. Zo blijft het gebruik van AI afgestemd op het welzijn van patiënten en op de professionele waarden van zorgverleners.

Organisatorisch Het betrekken van zorgverleners en andere betrokkenen bij de selectie of ontwikkeling van AI is belangrijk omdat zij de werkcontext het best kennen. Cocreatie helpt om de toepassing beter af te stemmen op de praktijk, verhoogt de aanvaarding bij medewerkers en vergroot zo de kans op een succesvolle implementatie.

Psychosociaal Betrokkenheid bij selectie verhoogt adoptiebereidheid en verlaagt weerstand.

Juridisch Een instelling moet voorzien in de AI-geletterdheid van zorgverleners en andere medewerkers. Zorgverleners moeten hierover de bewijzen in hun portfolio hebben, zo niet mogen zij de AI-tool niet gebruiken.

Organisatorisch De invoering van AI kan geleidelijk veranderingen veroorzaken in werkprocessen en taakverdeling. Daarom is het belangrijk om deze evoluties actief te monitoren. Wanneer processen wijzigen, moeten betrokken medewerkers passende en jobspecifieke opleiding krijgen om de implementatie succesvol te laten verlopen.

Psychosociaal Bewust monitoren van werkwijzeveranderingen beschermt werknemersrechten en -welzijn.

Juridisch Voor toepassingen met een hoog risico moet ook rekening gehouden worden met de verplichting tot het garanderen van menselijk toezicht. Zorgverleners, maar bijvoorbeeld ook personeelsleden die dit toezicht uitoefenen bij gebruik van AI in een HR-context, moeten over de nodige competentie, opleiding en bevoegdheid beschikken, evenals over de vereiste ondersteuning om de impact op werkwijzen te kunnen monitoren.

Ethisch Een AI-systeem kan zelf geen verantwoordelijkheid dragen. Daarom moet duidelijk vastliggen welke persoon of organisatie verantwoordelijk is voor de instellingen, het gebruik en de beslissingen rond de toepassing. De eindverantwoordelijkheid moet altijd bij een mens of rechtspersoon liggen, niet bij de technologie.

Organisatorisch Duidelijke rolverdeling is nodig om AI-toepassingen goed aan te sturen. Een procesverantwoordelijke volgt doorgaans de werking op en stuurt bij, eventueel samen met het IT-departement. De uiteindelijke verantwoordelijkheid blijft echter bij het topmanagement, zodat de verantwoordingslijnen binnen de organisatie helder blijven.

Juridisch De keuze tussen AI als vangnet of als eerste adviseur heeft belangrijke gevolgen voor patiëntveiligheid en aansprakelijkheid. Daarom moet duidelijk zijn dat de menselijke verantwoordelijkheid steeds behouden blijft bij het gebruik van AI in de zorg. Hou er rekening mee dat, hoewel de AI Act een hangmat niet verbiedt, (a) het menselijk toezicht wel effectief moet blijven; én (b) dat bepaalde zorgtaken omwille van sectorspecifieke (Belgische) wetgeving nooit mogen worden uitgevoerd door een autonoom werkende AI-toepassing.

Klinisch Hangmat-configuraties verhogen automation complacency; vangnet behoudt menselijke alertheid.

Organisatorisch Dit is afhankelijk van proces tot proces. Al mogen werknemers niet de indruk krijgen van gecontroleerd te worden omdat dit negatief kan zijn voor hun werkvreugde en hun gevoel van autonomie inperken. Een gezonde mens-AI samenwerking waarbij menselijke talent wordt erkend is nodig voor aanvaarding en succes.

Technisch Je wil volledig autonome beslissingen, die zware gevolgen kunnen hebben, uitsluiten.

Klinisch Gerichte AI-training verhoogt correct gebruik en vermindert risico op gevaarlijke fouten.

Organisatorisch Zorgverleners hebben opleiding en ondersteuning nodig om AI op een veilige en doordachte manier te gebruiken. Inzicht in de werking van de toepassing vergroot hun weerbaarheid en helpt om AI correct in de werkprocessen te integreren. Initiatieven zoals training, coaching, peer learning, IT-ondersteuning en duidelijke communicatie ondersteunen de adoptie en helpen om kennis en goede praktijken te delen.

Juridisch Het management van een instelling (de gebruiksverantwoordelijke) is verantwoordelijk om te voorzien manieren om voldoende AI-geletterdheid bij de medewerkers en zorgverleners te creëren.

Economisch Negatief effect op samenwerking, cultuur, ... kan het positieve effect van de AI-toepassing teniet doen.

Ethisch Documentatie van negatieve effecten is basis voor leren en toekomstige verbetering.

Organisatorisch De invoering van AI kan verschillende effecten hebben op processen, rollen en samenwerking. Daarom is het belangrijk om mogelijke negatieve gevolgen actief te monitoren en te documenteren. Door processen op te volgen en tijdig bij te sturen wanneer problemen of ongewenste effecten optreden, kan men de verandering beter begeleiden en ervoor zorgen dat de implementatie door medewerkers gedragen blijft.

Klinisch Expliciete reflectie op mens-machine samenwerking voorkomt erosie van professionele expertise.

Organisatorisch Bij de inzet van AI is het belangrijk om aandacht te hebben voor taakverschuivingen en de samenwerking tussen mens en technologie. Ook moeten de beperkingen en mogelijkheden van het systeem duidelijk zijn voor het zorgpersoneel. Door zorgverleners te betrekken bij het herdenken van werkprocessen en regelmatig feedback te vragen, blijft hun expertise erkend. Dit helpt ook om hun gevoel van autonomie, verbondenheid en professionele waarde te behouden, wat belangrijk is voor motivatie en werktevredenheid.

Psychosociaal Bewust taakverschuivingsbeleid beschermt zorgverleners tegen ongewenste rol-onduidelijkheid.

Juridisch Een zorgverlener mag vanuit zijn professionele autonomie enkel die handelingen stellen waarvoor hij de nodige aantoonbare bekwaamheid en ervaring heeft. Dit geldt ook voor AI.

Klinisch Om medewerkers alert te houden bij het gebruik van AI is opleiding essentieel. Zorgverleners moeten begrijpen hoe de specifieke toepassing werkt en waar de beperkingen liggen. Oefeningen, bijvoorbeeld met foutieve AI-output, kunnen helpen om hun kritische blik en waakzaamheid te versterken.

Organisatorisch Om medewerkers alert te houden bij het gebruik van AI is voortdurende opleiding en ondersteuning nodig. Zorgverleners moeten niet alleen de specifieke toepassing kennen, maar ook inzicht hebben in de algemene beperkingen van AI. Training, communicatie en HR-initiatieven helpen om een kritische houding te stimuleren en de waarden te versterken die de organisatie met AI wil realiseren.

Ethisch Transparantie over beperkingen van AI is een ethische verplichting naar gebruikers toe.

Klinisch Begrip van AI-beperkingen is essentieel om output correct te interpreteren en fouten te herkennen.

Organisatorisch Medewerkers moeten de beperkingen van AI-toepassingen begrijpen om ze correct te gebruiken en mogelijke problemen te herkennen. Daarom is basiskennis over AI voor iedereen belangrijk, aangevuld met meer gerichte, functiegebonden opleidingen en eventueel een algemene training om het bewustzijn rond AI te vergroten.

Juridisch Zowel bij het gebruik van hoog-risico AI-systemen als bij het gebruik van AI-modellen voor algemene doeleinden is het verplicht om transparant te communiceren over de beperkingen van de AI-systemen. Bij een hoog-risico systeem stelt de aanbieder deze informatie ter beschikking via een gebruiksaanwijzing. Deze moet beschikbaar zijn voor de medewerker. Bij een AI-model voor algemene doeleinden dient de aanbieder technische documentatie ter beschikking te stellen die de instelling en haar medewerkers toelaten om te beoordelen hoe het model wel of niet geïntegreerd kan worden (bv. beoordeling ongeschiktheid van de databronnen voor de beoogde taak).

Ethisch Omdat AI-toepassingen fouten kunnen maken, is het belangrijk dat medewerkers AI-output kritisch blijven beoordelen. Door ruimte te geven om AI-suggesties te betwisten en te toetsen aan eigen expertise of overleg, blijft de professionele autonomie van zorgverleners behouden en blijft duidelijk wie verantwoordelijk is voor de uiteindelijke beslissing.

Klinisch Kritisch denken over AI-output is een aangeleerde vaardigheid die actief geoefend moet worden.

Organisatorisch Het is belangrijk dat medewerkers AI-output niet blindelings volgen. Door duidelijke communicatie over het AI-beleid en gerichte opleiding via HR kan een kritische houding tegenover AI worden gestimuleerd en versterkt. Zo blijven zorgverleners AI-resultaten toetsen aan hun eigen expertise en professioneel oordeel.

Juridisch Wanneer een instelling AI-systemen introduceert, is zij verantwoordelijk om ervoor te zorgen dat alle personen die namens hen het AI-systeem gebruiken (personeel en andere) “een toereikend niveau van AI-geletterdheid” hebben. Daar waar er reeds sector- of beroepsspecifieke verplichtingen bestaan rond levenslang leren, kan de verplichting rond AI-geletterdheid kan gelezen worden als een nieuw onderdeel dat hieraan dient te worden toegevoegd. In andere situaties zal een afzonderlijke opleiding moeten worden voorzien. Hierbij dient te worden opgemerkt dat deze verplichting niet beperkt is tot hoog-risico AI systemen.

Klinisch Ook bij het gebruik van AI moeten medewerkers hun kennis en vaardigheden blijven ontwikkelen. Omdat AI-resultaten gecontroleerd moeten worden, is het belangrijk dat expertise behouden blijft. Door ruimte te maken om actief te blijven oefenen en mee te denken met het systeem, kan men deskilling voorkomen en de klinische competenties van zorgverleners behouden.

Organisatorisch Ook bij de inzet van AI is het belangrijk dat medewerkers blijven leren en zich verder kunnen ontwikkelen. Leerruimte en levenslang leren helpen om expertise te behouden en te versterken. Wanneer AI ruimte creëert voor verdere specialisatie, kan dat bovendien bijdragen aan meer werkvreugde, motivatie en kwaliteit van zorg.

Ethisch Databias in AI is een belangrijk risico voor gezondheidsongelijkheid in de zorg.

Klinisch Het is belangrijk dat de trainingsdata van een AI-toepassing representatief zijn voor de patiëntenpopulatie. Als dat niet het geval is, kan het systeem minder goed werken en systematische fouten maken voor bepaalde patiëntengroepen.

Organisatorisch Elke digitale innovatie dient grondig te worden getest, alvorens uit te rollen op grotere schaal.

Juridisch Als onderdeel van de data en datagovernance verplichtingen die vanuit de AI Act gelden voor hoog-risico AI-systemen moet deze check steeds een onderdeel uitmaken van de interne procedures. Trainings-, validatie- en testdatasets moeten relevant en voldoende representatief zijn in het licht van het beoogde doel. Er dient rekening te worden gehouden met de specificiteit van geografische, contextuele, functionele en gedragsomgeving.

Juridisch Noodprocedures zijn noodzakelijk zowel om te kunnen voldoen aan de vereisten die opgelegd worden vanuit het recht op kwaliteitsvolle zorgverstrekking als de GDPR. Een onderscheid dient gemaakt te worden tussen situaties waarbij levensbedreigende impact kan ontstaan en andere situaties.

Klinisch Proactieve risicoidentificatie is vereist voor veilige AI-implementatie in hoog-risico zorgcontexten.

Organisatorisch Het in kaart brengen van risico’s is belangrijk om AI op een verantwoorde en duurzame manier in het zorgproces te integreren. Door mogelijke sterktes, zwaktes, kansen en bedreigingen systematisch te analyseren, kan de organisatie beter anticiperen op problemen en gepaste maatregelen nemen.

Economisch Extra vraag: is het nodig om de geïdentificeerde risico's te mitigeren?

Ethisch Restrisico's na mitigatie moeten expliciet gecommuniceerd worden naar gebruikers.

Organisatorisch Risico’s met een belangrijke negatieve impact moeten zoveel mogelijk vermeden of beperkt worden. Effectieve risicobeheersing vraagt daarom zowel technische maatregelen als aandacht voor gedrag en werkwijzen van medewerkers.

Juridisch Gekende risico’s, maar ook redelijk voorzienbare risico’s die een impact kunnen hebben op gezondheid, veiligheid of het respect voor fundamentele rechten moeten verplicht gepaard gaan met risicomitigerende maatregelen. Deze maatregelen kunnen zowel betrekking hebben op het ontwerp van het systeem, als het ontwerp van het implementatieproces. Ze kunnen van technische of van organisatorische aard zijn.

Juridisch Er moet een (rechts)persoonlijke verantwoordelijkheid zijn.

Klinisch AI-systemen kunnen fouten maken of uitvallen. Daarom zijn fallbackprocedures nodig om de continuïteit van zorg te garanderen. Door menselijke controle te behouden en alternatieve werkwijzen te voorzien, kunnen mens en technologie elkaar aanvullen en fouten beter opvangen.

Organisatorisch Fallbackprocedures zijn nodig om te voorkomen dat een organisatie te afhankelijk wordt van AI. Wanneer het systeem faalt of foutieve output geeft, moeten zorgverleners kunnen ingrijpen en beslissingen overrulen. De uiteindelijke verantwoordelijkheid blijft bij mensen, die bovendien belangrijke menselijke vaardigheden behouden zoals context inschatten, empathie tonen en ethische afwegingen maken.

Ethisch Transparantie over algoritme en trainingsdata is vereist voor vertrouwen en auditbaarheid.

Juridisch Een ruime transparantieverplichting werd door de AI Act opgelegd aan de aanbieders van AI. Zij moeten via een gebruikshandleiding de gebruiksverantwoordelijke (de instelling of zelfstandig zorgverstrekker) informeren over de werking, de aanbieder, de kenmerken,… van het systeem. De gebruiksverantwoordelijke zal op haar beurt ervoor moeten zorgen dat deze informatie kritisch wordt bekeken.

Klinisch Algoritmekenmerken zijn vooral belangrijk als je op zoek bent naar systemen waarvan de beslissing verklaarbaar is.

Organisatorisch Informatie over de trainingsdata is essentieel om de prestatie te kunnen inschatten op de eigen populatie.

Ethisch AI beschikt vaak niet over alle relevante informatie over een patiënt. Daarom moeten zorgverleners altijd de mogelijkheid hebben om AI-aanbevelingen naast zich neer te leggen en hun beslissing te baseren op hun professionele oordeel en de volledige context.

Juridisch Voor hoog-risico AI-systemen is het verplicht om voor iedereen die het menselijk toezicht uit te oefenen een duidelijke procedure te voorzien die hen toelaat om in te grijpen in de werking van het AI-systeem door ofwel een “stopknop” ofwel een vergelijkbare veilige procedure (art 14, 4. e) AI Act).

Organisatorisch AI-output mag niet als absolute waarheid worden beschouwd. Daarom moeten er duidelijke afspraken zijn over wanneer zorgverleners AI-advies kunnen negeren en hun eigen expertise laten doorwegen. Deze afspraken kunnen vastgelegd worden in een centraal AI-beleid en verder uitgewerkt worden in procedures binnen de werkprocessen.

Klinisch AI-incidenten melden is essentieel voor leren en verbetering van systeemsafety.

Organisatorisch AI-gerelateerde fouten en incidenten moeten opgenomen worden in bestaande veiligheids- en incidentrapportagesystemen. Door fouten systematisch te registreren en processen op te volgen, kunnen onderliggende problemen in het systeem of het werkproces worden opgespoord. Wanneer nodig kan dit leiden tot bijsturing van het proces, de technologie of een escalatie naar IT, een AI-team of het management.

Juridisch Zie vragen 12 en 13.

Klinisch Consistente AI-incidentopvolging is vereist voor systeemveiligheid en lerende organisatie.

Organisatorisch Het opvolgen van AI-incidenten wordt best geïntegreerd in bestaande kwaliteits- en incidentmeldingssystemen. Zo blijft het gebruik van AI niet los staan van andere zorgtools en wordt de drempel om problemen te melden en op te volgen lager. Dit versterkt de algemene kwaliteitsbewaking binnen de zorgorganisatie.

Ethisch Je wil niet de indruk geven dat medewerkers moeten vrezen voor hun job omdat ze één op één vervangen zullen worden.

Organisatorisch Een medewerker zal zelden één op één vervangen kunnen worden. Zal meestal gaan over subtaken wat een werkreorganisatie noodzakelijk maakt.

Organisatorisch Jobspecifieke opleidingen geven om samen te werken met AI, en mensen zich meer laten specialiseren.

Ethisch Het moment dat personeel automation complacent is, zijn ze overbodig.

Organisatorisch Onderzoek toont aan dat mens en AI elkaar kunnen versterken. Hiervoor is er echter een kritische menselijke blik nodig.

Organisatorisch Jobspecifieke opleidingen geven die een kritische blik op AI stimuleren, en verhalen rond slecht AI advies op procesniveau delen met advies hoe hiermee om te gaan.

Juridisch De bij het gebruik van hoog-risico AI behoort de informatie die nodig is om de output van het AI-systeem goed te begrijpen tot de minimum informatievereisten voor de gebruiksinstructies die door de aanbieder moeten worden meegeleverd aan de instelling en via de instelling aan de eigenlijke gebruiker. Echter, we moeten hierbij toegeven dat de juridische verplichting eerder vaag is geformuleerd en eerder bedoeld is om te voorkomen dat output niet kan worden geïnterpreteerd. Deze juridische maatregelen voorkomen niet dat er automatisch complacency kan ontstaan.

Organisatorisch Bij twijfel is een extra verificatie van de beslissing nodig.

Organisatorisch Opleidingen die een kritische blik op AI stimuleren, en verhalen rond slecht AI advies delen met advies hoe hiermee om te gaan. Uiteindelijk gaan de biases allen om een goede bewustwording en opleiding.

Juridisch Het is raadzaam om via post-implementatie procedures en via opleiding continue aandacht te vragen voor automation bias, zowel bij jongere als oudere medewerkers.

Organisatorisch Nieuwe medewerkers moeten de kans krijgen om vaardigheden te verwerven voor ze gebruik maken van AI-toepassingen.

Organisatorisch Mensen laten specialiseren, leren omgaan met mens-AI samenwerking, en goede training.

Juridisch Op basis van verschillende wettelijke kaders dienen aan verschillende voorwaarden te worden voldaan vooraleer een instelling in zee kan gaan met een aanbieder. Schrijf voorwaarden zoals het voorleggen van een Data Protection Impact Assessment (GDPR), een Fundamental Rights Impact Assessment (FRIA) en andere minimumvereisten waaraan de organisatie moet voldoen in het kader van GDPR, AI Act, cyberveiligheid,… al in voor het doen van een aanbesteding.

Ethisch Het gebruik van patiëntengegevens vraagt duidelijke afspraken en transparantie. Dat vergroot het vertrouwen van patiënten en helpt om ethische vragen correct te behandelen, bijvoorbeeld wanneer gegevens worden vergeleken of wanneer AI mogelijke gezondheidsproblemen detecteert zonder dat de patiënt daar expliciet om vroeg. Daarom moet duidelijk zijn hoe deze data worden gebruikt en binnen welk juridisch kader.

Juridisch Maak een onderscheid tussen het gebruik van patiëntengegevens voor de ontwikkeling van AI, voor de training van AI en bij het gebruiken van AI-systemen. Voor elk van de verschillende fasen zijn andere rechtsgronden relevant en voor elk van de verschillende fasen dient te worden nagegaan of de rechten van betrokkenen gerespecteerd zijn. Belangrijk: De AI Act, als maatregel om innovatie te ondersteunen, voorziet in een nieuwe rechtsgrond voor het gebruik van persoonsgegevens binnen AI-testomgevingen voor regelgeving (Artikel 59) maar niet voor het gebruik van persoonsgegevens voor het testen van AI onder reële omstandigheden buiten de AI-testomgeving (artikel 60). Voor dat laatste is een uitdrukkelijke toestemming van de betrokkene vereist (artikel 61).

Juridisch Transparantie over het gebruik van patiëntengegevens is essentieel. Patiënten moeten weten hoe hun gegevens worden gebruikt en waar nodig hun toestemming kunnen geven, zoals ook vereist is onder de GDPR.

Economisch Gestructureerde compliance-check bij aankoop vermijdt kostbare aanpassingen achteraf.

Juridisch Onderwerp de AI-toepassing aan een geïntegreerd juridische toetsing: bepalingen uit de AI Act moeten steeds samen worden gelezen met bestaande verplichtingen. Denk hierbij aan verplichtingen die ontstaan op basis van sector-specifieke wetgeving zoals Wet Patiëntenrechten, Kwaliteitswet en MDR of IVDR, maar ook aan andere horizontale wetgeving zoals de GDPR of wetgeving overheidsopdrachten.

Juridisch Afhankelijk van de rechtspositie van de zorgverlener onder het arbeidsrecht, zal de zorgverlener onder de AI Act gekwalificeerd worden als gebruiker of gebruiksverantwoordelijke. Elke rol heeft eigen verantwoordelijkheden. Maak de analyse voor de instelling en ga dan in gesprek over de ondersteuning die nodig is.

Organisatorisch Voldoen aan wettelijke verplichtingen zou opgenomen moeten zijn in de processen. Individuele zorgverleners zouden daar eigenlijk zo weinig mogelijk stil bij moeten staan.