Microsoft komt met AI-agent die malware moet detecteren, maar faalt flink

Microsoft kondigde woensdag met veel tamtam hun nieuwe AI-agent aan, genaamd ‘Project Ire’. Deze bot zou in theorie software moeten kunnen ontleden en tot op broncodeniveau malware kunnen herkennen. Maar in de praktijk blijkt het helemaal niet zo goed te werken als beloofd.

Project Ire is voorlopig nog slechts een prototype en zou security-analisten moeten helpen bij het controleren van software op malware. De AI-bot zou zelfstandig software moeten scannen, malware identificeren en automatisch laten blokkeren via Microsoft Defender. Dat belooft Microsoft tenminste.

Het idee is dat hierdoor minder mensen nodig zijn om handmatig bestanden te controleren. De AI-agent zou het saaie, repetitieve werk uit handen nemen en de responstijd bij dreigingen versnellen. Klinkt mooi, maar dat is het helaas niet.

Teleurstellende realiteit

Waar Microsoft enthousiast is over Project Ire, toont de realiteit aan dat de agent verre van betrouwbaar is. In een test met 4.000 bestanden die eigenlijk handmatig gecontroleerd moesten worden, stelde de AI-agent zwaar teleur.

Project Ire slaagde er slechts in om 24 procent van alle aanwezige malware te detecteren. Dat betekent dus dat meer dan driekwart van de malware ongemoeid bleef. Bovendien was de betrouwbaarheid van de gedetecteerde bestanden ook twijfelachtig: slechts 89 procent van de automatisch als malware aangewezen bestanden waren daadwerkelijk geïnfecteerd. Dit betekent veel valse positieven, wat alleen maar extra werk oplevert voor de security-teams.

Kortom: er is nog geen enkele reden om blind te vertrouwen op de resultaten van dit prototype, want mensen zullen voorlopig nog alles handmatig moeten blijven controleren.

Hoewel Microsoft volhoudt dat dit een eerste stap is, is het duidelijk dat Project Ire nog een lange weg te gaan heeft. De fouten zijn simpelweg te groot om het product nu al in te zetten. En terwijl de werkdruk voor securityprofessionals alleen maar toeneemt, blijft deze zogenaamde AI-ondersteuning achter en brengt het geen onmiddellijke verlichting.

In de huidige staat is Project Ire vooral een teleurstelling en blijft het een proof of concept dat nog niet klaar is voor serieus gebruik.