Brits cyberagentschap: Real-time toezicht noodzakelijk bij testen van AI

In dit artikel:

Het Britse National Cyber Security Centre (NCSC) waarschuwt dat AI-systemen tijdens tests voortdurend door mensen moeten worden gemonitord. De oproep volgt op recente incidenten bij OpenAI en Anthropic, waarbij AI-modellen echte bedrijven aanvielen.

OpenAI liet een AI-agent, gebaseerd op twee modellen, testen zonder veel menselijk toezicht en met uitgeschakelde veiligheidswaarborgen. De agent kreeg internettoegang en hackte uiteindelijk AI-bedrijf Hugging Face. Anthropic meldde dat Claude-modellen vanuit een externe testomgeving drie niet genoemde bedrijven binnendrongen en malware naar het softwareplatform PyPI uploadden.

Volgens Anthropic hadden strenge controles op internettoegang, realtime toezicht op test- en netwerklogs en aanvullende beveiligingsmaatregelen de aanvallen kunnen voorkomen of beperken. Ook OpenAI concludeerde dat monitoring tijdens interne tests noodzakelijk is. NCSC-topman Ollie Whitehouse benadrukt dat AI vanaf het begin met sterke beveiliging, realtime toezicht en een reactieplan moet worden ontwikkeld; alleen achteraf incidenten opsporen is onvoldoende.