Op de spoedeisende hulp van het St. Antonius Ziekenhuis in Utrecht wordt sinds begin deze maand gebruikgemaakt van artificiële intelligentie (AI). Dat meldde lokale krant DUIC. Het systeem adviseert bij de beslissing of mensen moeten worden opgenomen of niet, zodat men eerder kan beginnen met plannen. Een mooiere aanleiding om mijn boek te pluggen, pardon het over de AI Act te hebben weet ik even niet.
Het ziekenhuis legt uit hoe het werkt:
Het algoritme gebruikt gegevens zoals leeftijd, bloedwaarden, hartslag en de hoofdklacht, om te voorspellen welke patiënten waarschijnlijk moeten worden opgenomen en welke ontslagen kunnen worden. Voor elke patiënt berekent het algoritme elke 5 minuten opnieuw de kans op opname of ontslag en past de verwachting aan als nieuwe uitslagen daar aanleiding toe geven.Het voornaamste doel is sneller het proces van opnemen (bed vrijmaken, behandelaars alarmeren et cetera) op gang brengen. Dit kan in de praktijk soms uren duren, zeker als een buitenbed geregeld moet worden. Het blijft een advies, zo benadrukt men: uiteindelijk beslist altijd de arts.
Valt dit nu onder de AI Act als een hoogrisico-toepassing? Dat kan in twee gevallen in de context van gezondheidszorg:
- De AI is een gereguleerd apparaat onder de Medical Device Regulation (MDR), of een veiligheidscomponent daarvan.
- De AI is bedoeld om noodoproepen te classificeren of afhandeling te prioriteren, of voor de triage van patiënten die dringend medische zorg behoeven.
De MDR reguleert medische hulpmiddelen. Dit zijn apparaten, isntrumenten “of andere artikelen” die bestemd zijn om bij de mens te dienen voor
diagnose, preventie, monitoring, voorspelling, prognose, behandeling of verlichting van ziekte, diagnose, monitoring, behandeling, verlichting of compensatie van een letsel of een beperking, [etc]Deze softwaretool wordt gebruikt voor monitoring en voorspelling bij mensen met ziekte, letsel of beperking. Dat het enkel gaat om een advies, maakt daarbij niet uit. Deze tool is dus een medisch hulpmiddel op zich, en daarmee hoogrisico.
Hoogrisico betekent: doe een conformiteitsassessment, heb een kwaliteits- en risicomanagementsysteem en zorg dat je data kwalitatief goed is. Screen op dingen die mis kunnen gaan, en heb een proces om in te grijpen.
Gelukkig voor het Antonius krijgen ze pas over drie jaar met deze eisen te maken, want voor gereguleerde producten kent de AI Act een uitgesteld regime. Heel erg is dat niet, want de MDR kent zelf ook al dergelijke eisen, waar een ziekenhuis overigens prima mee om kan gaan.
In deze analyse ben ik totaal niet ingegaan op hoe accuraat, zorgwekkend, vernieuwend of anderszins risicovol de toepassing is. Daar is een leuke boom of wat over op te zetten, natuurlijk. Er is het al wat oudere voorbeeld van een triage-AI die patiënten met een mogelijke beginnende longontsteking aanraadt het nog een nachtje aan te kijken. Prima advies, alleen niet als de patiënt astma heeft – dan moet je direct naar de SEH. Alleen zat die uitkomst niet in de dataset.
Het punt van de AI Act is: dat doet er niet toe. De analyse is formeel. Je kijkt of je valt onder een van de gereguleerde producten of een van de genoemde use cases. Zo ja, ben je hoog risico. Zo nee, ben je dat niet. Dat de AVG of andere wetgeving er iets van vindt in termen van risico, staat daar helemaal los van.
Weten hoe de AI Act precies in elkaar steekt? Koop dan mijn boek The Annotated AI Act. In 411 pagina’s krijg je elk artikel van deze nieuwe wet geduid en van context voorzien.
Arnoud
https://ec.europa.eu/commission/presscorner/detail/en/QANDA_21_1683 geeft als voorbeeld
Dat is hier toch expliciet het geval? Als het advies geeft over ontslag, is het ‘used in the access to healthcare’.Verder is het concept denk ik niets nieuws: er werd ook 30 jaar geleden al gezocht naar ondersteuning van diagnose, ook al via neurale netwerken en/of beslisbomen. In hoeverre het in de praktijk is gebruikt, geen idee.
Voor mij is “eligibility for healthcare services” een hele stap eerder dan wat ze op de SEH met je gaan doen. “Uw conditie is niet kritiek, neem een paracetamol en bel ons morgen” vind ik wat anders dan “u bent 78 en komt niet in aanmerking voor een longtransplantatie” of “van de verzekeraar mogen wij u niet opnemen omdat deze geen contract met u heeft”. Dit algoritme doet het eerste, die andere twee vallen onder de “eligibility” clausule.
Zoals ik het lees gaat het de toegang tot verdere zorg juist versnellen
“AI gaat ons helpen om het verblijf van patiënten op de SEH te verkorten. Zodra het algoritme vermoedt dat een patiënt moet worden opgenomen, kan de spoed-coördinator alvast beginnen met het regelen van een bed en de ontvangende afdeling kan alle voorbereidingen treffen. Dit gebeurt terwijl we op de SEH nog bezig zijn met onderzoeken en/of wachten op de laatste uitslagen. Hierdoor hoeft de patiënt minder lang op de SEH te wachten en hebben we meer tijd voor de patiënt omdat het algoritme al veel van het regelwerk voor ons heeft voorbereid. Ook is er sneller weer een bed beschikbaar voor een volgende patiënt. Nu is het niet zo dat AI bepaalt of iemand moet worden opgenomen of niet, die beslissing blijft nog altijd in handen van de behandelend arts.”
De bal gaat eerder rollen.
En weer de deur uit is een beslissing van de arts. Natuurlijk zul je uit moeten kijken dat een arts op basis van de AI sneller zegt ga maar naar huis maar even positief, die heeft juist meer tijd omdat de AI zaken uit handen neemt.
De fout de ene kant op is dat iemand het ziekenhuis ingaat die eigenlijk niet zou moeten en de andere kant op kom je bij een arts die minder regelstress heeft dus kans groter dat ie iemand vangt die anders wellicht naar huis gestuurd zou zijn.
Versnellen voor de een is nee zeggen tegen de ander.
(Schrijf ik met risico dat dan de discussie opborrelt of positieve discriminatie ook discriminatie is).
Dat is toch pas aan de orde als de verwerkingscapaciteit overbelast wordt? Mensen moeten vooral snel opgenomen worden omdat ze snel zorg nodig hebben, niet omdat er beddentekort is.
Nee, zo werkt een ziekenhuis niet.
Opgenomen patienten liggen op een afdeling waar (grof gezegd) een keer per dag een arts langskomt, en er twee verpleegkundigen per 16 bedden zijn.
Op de SEH zijn er maar een klein aantal bedden (vaak minder dan 10), en is er naar verhouding veel meer personeel omdat het idee is dat alle bedden in gebruik zijn voor een patient die acuut aandacht nodig heeft. (Het heet niet voor niets SpoedEisende Hulp).
Patienten die op de SEH liggen te wachten tot er een bed op een afdeling vrij is liggen dus “in de weg”. Ze bezetten (onnodig, want niet meer spoed) een bed dat voor een behoeftiger patient gebruikt kan worden. Daardoor neemt de wachttijd toe.
Dat zou je ook kunnen oplossen door meer bedden op de SEH te plaatsen dan waar je personeel voor hebt, maar ook dat kost geld, een bed neemt best veel ruimte is en er moet wel alle apparatuur en spullen omheen voor het geval er wel een noodgeval in het bed ligt. Dan zal een AI geheid goedkoper zijn.
Inderdaad betekent dit dat het personeel op de SEH meer patienten moet behandelen als deze AI inderdaad werkt. Maar als dit betekent dat ze meer daadwerkelijk met patienten bezig zijn, en minder met regelwerk op een patient op de goede plek te krijgen dan zal het meeste ziekenhuispersoneel daar gewoon blij mee zijn.