Microsoft a publié un outil open source créé pour aider les développeurs à évaluer la sécurité des systèmes d’intelligence artificielle sur lesquels ils travaillent. Il s’appelle le projet Counterfit et est maintenant disponible sur GitHub.
La firme de Redmond elle-même a déjà utilisé Counterfit pour tester ses propres modèles d’IA, au sein de l’équipe rouge de la société. En outre, d’autres sections de Microsoft explorent également l’utilisation de l’outil dans le développement de l’IA.
Microsoft simule des cyberattaques avec Counterfit
Selon les révélations de Microsoft sur Github, Counterfit dispose d’un outil de ligne de commande et d’une couche d’automatisation générique pour évaluer la sécurité des systèmes d’apprentissage automatique.
Cela permet aux développeurs de simuler des cyberattaques contre des systèmes d’IA pour tester la sécurité. Tout le monde peut télécharger l’outil et le déployer via Azure Shell, pour l’exécuter dans le navigateur ou localement dans un environnement Anaconda Python.
«Notre outil rend les algorithmes d’attaque publiés accessibles à la communauté de la sécurité et permet de fournir une interface extensible à partir de laquelle créer, gérer et lancer des attaques sur des modèles d’IA», a déclaré Microsoft.
L’outil est préchargé avec des exemples d’algorithmes d’attaque. En outre, les professionnels de la sécurité peuvent également utiliser le moteur de script cmd2 intégré pour se connecter à Counterfit à partir d’autres outils offensifs existants à des fins de test.
Selon ITPro, Microsoft a développé l’outil à partir d’un besoin d’évaluer ses systèmes pour les vulnérabilités. Counterfit a commencé comme des scripts d’attaque écrits pour attaquer des modèles d’IA individuels et a progressivement évolué pour devenir un outil d’automatisation pour attaquer plusieurs systèmes.
La société affirme avoir travaillé avec plusieurs de ses partenaires, clients et entités gouvernementales pour tester l’outil avec des modèles d’IA dans leurs environnements.
