Kwetsbaarheden in AI-chatbot maakten omzeilen van guardrails mogelijk

In dit artikel:

Bij Eurostar ontdekte beveiligingsonderzoeker Pen Test Partners ernstige kwetsbaarheden in de AI-chatbot van de treinmaatschappij, waardoor ingebouwde guardrails te omzeilen waren. Technisch gezien controleerde de chatbot-API alleen het laatst ontvangen bericht op veiligheid; oudere berichten werden niet opnieuw gevalideerd. Daardoor kon een aanvaller eerst een onschuldig bericht posten en dat later aanpassen, zonder dat het systeem dit nog controleerde — wat leidde tot onder andere cross-site scripting (XSS)-aanvallen en het uitlekken van interne prompts van de chatbot.

De onderzoekers rapporteerden het lek via Eurostars vulnerability disclosure-programma, maar kregen aanvankelijk geen antwoord; meldingen bleken verloren te zijn gegaan bij een migratie naar een nieuwe meldpagina. Ken Munro van Pen Test Partners escaleerde de zaak via LinkedIn toen contact uitbleef, waarna het hoofd beveiliging de actie als mogelijk “afpersing” bestempelde.

De vondst benadrukt risico’s van onvolledige inputvalidatie en gebrekkige afhandeling van kwetsbaarheidsmeldingen. Aanbevolen maatregelen zijn onder meer volledige hervalidatie van berichten, input-sanitatie en een betrouwbaar disclosure-proces.