Dans une expérience menée par le gouvernement australien, l’intelligence artificielle (IA) a été comparée à l’intelligence humaine pour résumer des documents complexes, les humains se révélant plus efficaces dans tous les aspects.
Réalisée par l’organisme de réglementation des entreprises australiennes, la Commission des valeurs mobilières et des investissements (ASIC), l’étude a cherché à évaluer l’efficacité de l’intelligence artificielle dans des tâches qui demandent généralement une analyse et une concentration méticuleuses. D’après les résultats, l’IA pourrait engendrer plus de travail au lieu d’en réduire.
L’IA n’est pas à la hauteur des évaluateurs humains
Plus tôt cette année, Amazon a testé divers modèles d’IA de divers fabricants, aidant ainsi le gouvernement australien à cette expérience. Le choix s’est finalement porté sur le Llama2-70B de Meta. L’IA a été chargée de résumer cinq soumissions issues d’une enquête parlementaire, en se concentrant sur les mentions de l’ASIC, les recommandations, les références à la réglementation et d’autres détails clés. Simultanément, dix humains de différents niveaux d’ancienneté – membres du personnel de l’ASIC – se sont vu confier la même tâche. Ce groupe d’examinateurs, qui n’étaient pas au courant de l’implication de l’IA, a évalué les résumés en termes de cohérence, de longueur, de pertinence et d’exactitude des références à la réglementation.
Les participants humains ont nettement surpassé l’IA, obtenant un score impressionnant 81% sur la grille d’évaluation, par rapport à 47% pour l’IA. Les humains ont excellé dans l’identification des citations des documents ASIC, une tâche connue pour être un défi pour l’IA. De plus, les résumés humains ont été salués pour avoir conservé l’emphase, les nuances et le contexte, alors que l’IA manquait souvent ces éléments essentiels. Les examinateurs ont également noté que les résumés de l’IA contenaient parfois des informations non pertinentes ou omettaient des détails importants, ce qui les rendait moins fiables.
Les implications des performances de l’IA en matière de synthèse
Les résultats de l’expérience indiquent que la technologie d’IA actuelle n’est peut-être pas aussi efficace qu’on le croit généralement en termes de gain de temps. D’un autre côté, l’habitude de l’IA de négliger des détails clés et de faire des erreurs pourrait entraîner des tâches supplémentaires pour les humains, qui devraient vérifier et éditer le matériel créé par l’IA. Les réviseurs craignaient que le recours à l’IA pour la synthèse ne soit pas bénéfique, car elle ne communique souvent pas les points principaux des documents aussi bien que les réviseurs humains.
Bien que le rapport reconnaisse certaines contraintes, comme le modèle d’IA obsolète utilisé, il conclut finalement que les compétences humaines en matière d’interprétation et d’évaluation des informations demeurent supérieures à celles de l’IA. L’essai a souligné l’importance de considérer l’IA comme un outil destiné à aider, plutôt qu’à supplanter, le travail humain dans les tâches qui exigent une compréhension approfondie du contexte et de la subtilité.
La transparence gouvernementale et l’IA
Les conclusions du rapport n’ont pas été une surprise pour Le sénateur des Verts David Shoebridgequi a dirigé l’enquête qui a abouti à sa publication. Il a mentionné que même si l’IA peut aider à évaluer les soumissions, elle devrait toujours être supervisée par des humains. L’expérience souligne l’idée qu’à l’heure actuelle, l’IA est plus bénéfique lorsqu’elle aide les capacités humaines plutôt que de les prendre en charge.
Le procès soulève également des inquiétudes plus générales quant à la transparence de l’IA dans les procédures gouvernementales. Le sénateur Shoebridge a souligné l’importance pour les ministères de prendre l’initiative de divulguer leur utilisation de l’IA, au lieu d’attendre que l’information soit dévoilée lors des audiences des commissions sénatoriales.
Crédits de l’image en vedette : Furkan Demirkaya / À mi-parcours
Source: Le contact humain surpasse l’IA dans un essai gouvernemental