- Les chatbots IA sont utiles mais vulnérables à la manipulation par des personnes malveillantes
- Prompt Shields de Microsoft est une technologie conçue pour défendre de manière proactive les chatbots contre les attaques abusives.
- Prompt Shields fonctionne en identifiant les invites potentiellement dangereuses et en les empêchant d’influencer le comportement du chatbot
Les chatbots d’intelligence artificielle sont de plus en plus intégrés dans nos vies. Du service client à l’éducation et au divertissement, les chatbots présentent de nombreux avantages mais aussi certains risques. Le problème est que des personnes malveillantes tentent d’utiliser ces chatbots à leurs fins sinistres. Alors, quelles mesures sont prises contre cela, des mesures sont-elles prises ?
Microsoft annoncé une nouvelle technologie appelée «Boucliers d’invite» pour empêcher les pirates malveillants d’utiliser les chatbots à leurs fins sinistres et pour trouver une solution. Prompt Shields est conçu pour protéger les chatbots IA contre deux types d’attaques. Alors, qu’est-ce que Prompt Shields ? Regardons de plus près.
Qu’est-ce que Prompt Shields de Microsoft et quels en seront les avantages ?
La technologie Prompt Shields de Microsoft est conçue pour protéger les applications d’IA contre les manipulations malveillantes grâce à des entrées utilisateur soigneusement conçues.
Comme je l’ai mentionné plus haut, cette technologie protégera les chatbots IA contre deux types d’attaques :
- Attaques directes: Dans ces attaques, des commandes spéciales sont utilisées pour forcer le chatbot à faire quelque chose qui va à l’encontre de ses règles et limitations normales. Par exemple, une personne peut forcer le chatbot à effectuer une action malveillante en entrant une invite avec des commandes telles que «contourner les mesures de sécurité” ou “système de dérogation« .
- Attaques indirectes: Dans ces attaques, un pirate informatique tente de tromper l’utilisateur du chatbot en lui envoyant des informations. Ces informations peuvent être un email ou un document contenant des instructions destinées à exploiter le chatbot. Lorsque l’utilisateur suit ces instructions, le chatbot peut, sans le savoir, effectuer une action malveillante.
Prompt Shields utilise également l’apprentissage automatique et le traitement du langage naturel pour rechercher et éliminer les menaces potentielles dans les invites utilisateur et les données tierces.
En plus des Prompt Shields, Microsoft a introduit une nouvelle technique appelée «Pleins feux» pour aider les modèles d’IA à mieux distinguer les invites d’IA valides de celles potentiellement risquées ou peu fiables.
Les nouvelles technologies de Microsoft sont considérées comme une étape importante dans l’amélioration de la sécurité et de la fiabilité des chatbots IA. Ce sera vraiment passionnant de voir comment ces technologies protègent les chatbots dans les prochains jours.
Crédit image en vedette : Barış Selman / DALL-E 3
Source: Microsoft développe Prompt Shields contre les abus des chatbots IA