Mijn huisarts wil gebruik gaan maken van een zogenaamde triage-app. Is dit zomaar toegestaan?

In dit artikel:

Een huisartsenpraktijk wil een chatassistent op de website inzetten om te bepalen of een vraag dringend is en of een patiënt überhaupt een arts nodig heeft. In de rubriek legt ict-jurist Arnoud Engelfriet uit dat zulke AI-triagesystemen juridisch gezien in de toekomst strenger worden gereguleerd, maar dat die regels nog niet volledig van kracht zijn.

Volgens hem zijn er bij AI-assistenten bekende veiligheidsrisico’s, zoals promptinjecties, waardoor een systeem onverwacht ongewenst gedrag kan vertonen. De Europese AI-verordening moet dit soort toepassingen onderbrengen in de categorie hoogrisico-AI, met zware eisen voor cybersecurity, een CE-markering en duidelijke aansprakelijkheid voor leveranciers. Voor zorgtoepassingen, zoals medische triage, geldt dat echter pas later: door vertragingen in de invoering schuift de regelgeving door tot december volgend jaar, en voor medische apps zelfs tot in 2028.

Engelfriet benadrukt ook dat het feit dat “het elders vaak misgaat” op zichzelf geen reden is om zulke systemen hier nu al extra te verbieden of strenger te behandelen. Wie strengere regels wil, moet bij de wetgever zijn. Tot die tijd blijven er wel bestaande en aankomende kaders bestaan, zoals de Cyber Resilience Act en de AI Act, maar die laten nog op zich wachten.