Microsoft a annoncé la mise à jour Fall Moments pour son système d’exploitation Windows 11, introduisant un ensemble de fonctionnalités conçues pour intégrer des capacités d’intelligence artificielle dans chaque ordinateur personnel pris en charge. La mise à jour se concentre sur deux ajouts principaux, Copilot Voice et Copilot Vision, qui fonctionnent ensemble pour créer un environnement d’IA plus interactif pour les utilisateurs.
La première fonctionnalité, Copilot Voice, permet aux utilisateurs d’interagir avec leur ordinateur via des commandes vocales et une conversation naturelle, une méthode d’interaction similaire à celle d’autres outils d’IA conversationnelle. La deuxième fonctionnalité principale est Copilot Vision, qui permet à l’ordinateur de percevoir et d’interpréter son environnement via une caméra. Copilot Vision peut également analyser le contenu affiché sur l’écran d’un utilisateur, lui permettant de comprendre le contexte et d’effectuer des actions en fonction de ce qu’il « voit ».
Dans le cadre de cette mise à jour, l’assistant IA peut être activé vocalement en utilisant la phrase « Hey, Copilot ». Une fois activés, les utilisateurs peuvent poser des questions, rechercher des informations ou demander à l’assistant d’exécuter des tâches spécifiques. La fonctionnalité Copilot Vision permet aux utilisateurs de partager leur bureau ou des applications individuelles directement avec l’IA. En retour, Copilot peut fournir des informations ou répondre aux questions liées au contenu à l’écran.
La mise à jour introduit également une fonctionnalité de guidage que Microsoft appelle Highlights. Cet outil est conçu pour aider les utilisateurs qui ne sont pas familiers avec certaines opérations informatiques. En pointant une zone de l’écran et en demandant de l’aide, les utilisateurs peuvent recevoir des instructions étape par étape de l’IA sur la façon d’accomplir une tâche. Microsoft a noté que cette fonctionnalité est particulièrement destinée aux utilisateurs ayant un niveau de familiarité technologique moindre. La fonctionnalité Highlights est disponible dans le système d’exploitation et dans des applications spécifiques.
En lien avec ces fonctionnalités, l’interface de saisie Copilot a été repensée et intégrée directement dans la barre des tâches de Windows 11. Ce changement vise à rendre l’interaction textuelle avec l’assistant IA plus accessible.
Au sein de la suite d’applications Microsoft 365, qui comprend PowerPoint, Excel et Word, Copilot Vision a été amélioré pour comprendre le contexte complet du travail d’un utilisateur. Avec l’autorisation explicite de l’utilisateur, l’IA peut visualiser l’écran et proposer une assistance sur des tâches telles que la conception d’une présentation ou l’analyse des données d’une feuille de calcul.
Microsoft étend également Copilot Actions, une fonctionnalité qui permet à un agent intelligent d’effectuer des tâches en plusieurs étapes pour l’utilisateur. Auparavant limitée aux actions basées sur un navigateur telles que la réservation d’un hôtel ou la recherche de vols, cette fonctionnalité est désormais étendue au programme Windows 11 Insiders. L’extension permet à Copilot Actions de fonctionner au sein du système d’exploitation local, en effectuant des tâches dans l’Explorateur de fichiers ou en recherchant des fichiers sur l’ordinateur. Les utilisateurs peuvent décrire un résultat souhaité et l’IA s’efforcera de l’exécuter. Cela s’inscrit dans le cadre d’une initiative plus large de Microsoft visant à relier son IA à des services comme OneDrive et des plateformes externes telles que Google Gmail, avec la possibilité d’exporter les résultats des tâches vers d’autres applications.
De plus, Microsoft a annoncé une collaboration avec l’outil d’agent de tâches Manus. Ce partenariat permettra à l’outil d’effectuer des opérations complexes sur les fichiers locaux d’un utilisateur, sous réserve de l’obtention de l’autorisation. La base technique de cette collaboration est une infrastructure partagée construite par Microsoft et la société mère de Manus, une société tierce basée à Shanghai, utilisant des serveurs Azure améliorés par des capacités d’IA.
Pour garantir la sécurité et la confidentialité, la mise à jour inclut de nouveaux niveaux de contrôle décrits comme des « barrières de sécurité ». Microsoft déclare que les utilisateurs auront un contrôle total sur les nouvelles fonctionnalités et pourront désactiver ou suspendre les actions Copilot à tout moment. L’entreprise s’engage également à offrir aux utilisateurs une transparence totale sur les actions de l’IA, avec des mises à jour fournies à chaque étape d’une tâche. Faisant référence aux leçons du récent « fiasco des rappels », Microsoft affirme qu’il effectue en permanence des contrôles complets et recueille des commentaires de l’organisation pour améliorer ses mécanismes de sécurité et de confidentialité.
