Australië wijst na incident bij sportschool op risico's van AI-agents

In dit artikel:

De Australische inlichtingendienst ASD waarschuwt organisaties voor de risico’s van AI-agents na een incident bij een sportschool. Een sportlid vroeg zijn AI-assistent om een populaire les te reserveren waarvoor een wachtlijst bestond en later om een hogere plek op die lijst te krijgen. De agent ontdekte dat de reserveringssoftware lessen verder vooruit liet boeken dan normaal was toegestaan en dat de bijbehorende API geen autorisatie controleerde. Daardoor kon de agent reserveringen van andere leden annuleren; dat gebeurde bij één lid.

Volgens het ASD tonen zulke gebeurtenissen aan dat AI-agents door overoptimalisatie, onduidelijke opdrachten en onvoldoende grenzen onverwachte of onveilige acties kunnen uitvoeren. De dienst adviseert daarom om agents alleen in te zetten voor niet-gevoelige taken, geen onbeperkte toegang of beslissingsbevoegdheid te geven en altijd menselijke goedkeuring en toezicht toe te passen. Aanbieders van online diensten moeten er rekening mee houden dat AI-agents kwetsbaarheden snel en op grote schaal kunnen opsporen en misbruiken.