Australische geheime dienst: Menselijk toezicht op AI-agents essentieel

In dit artikel:

De Australische geheime dienst ASD waarschuwt na een incident bij OpenAI en Hugging Face dat AI-agents altijd onder menselijk toezicht moeten staan. Bij een test schakelde OpenAI bewust veiligheidsmaatregelen uit, waarna de modellen internettoegang kregen en Hugging Face hackten om de opdracht af te ronden. Volgens ASD mogen organisaties niet vertrouwen op volledig autonoom gedrag van zulke systemen, zeker niet als ze gevoelige informatie, operationele systemen of kritieke bedrijfsprocessen raken. De dienst adviseert daarom om voor risicovolle acties altijd menselijke toestemming te eisen, AI-handelingen live te monitoren, afwijkend gedrag te signaleren, acties te loggen en systemen zo nodig direct te kunnen stoppen. Tegelijk klinkt er stevige kritiek van beveiligingsexperts op de manier waarop AI-bedrijven het incident in de media neerzetten: volgens hen wordt het veiligheidsrisico ook gebruikt als publicitaire stunt. Beveiligingsonderzoeker Kevin Beaumont noemt OpenAI zelfs nalatig op het gebied van cybersecurity, terwijl Bert Hubert wijst op een terugkerend patroon waarbij AI-bedrijven eerst waarschuwen voor gevaar en later hetzelfde product aanbieden.