L’équipe d’ingénierie de X a publié le mois dernier le code de son algorithme de recommandation « pour vous ». Elon Musk a décrit la publication comme une victoire pour la transparence, déclarant : « Nous savons que l’algorithme est stupide et a besoin d’améliorations massives, mais au moins vous pouvez nous voir lutter pour l’améliorer en temps réel et avec transparence. » Musk a ajouté : « Aucune autre société de médias sociaux ne fait cela. »
X est le seul grand réseau social à ouvrir des éléments open source de son algorithme de recommandation. Cependant, les chercheurs affirment que le code publié offre une transparence limitée pour comprendre les opérations de la plateforme en 2024. Le code ressemble à une version expurgée publiée en 2023, selon John Thickstun, professeur adjoint d’informatique à l’Université Cornell.
Thickstun a déclaré à Engadget : « Ce qui me dérange à propos de ces versions, c’est qu’elles vous donnent l’impression qu’elles sont transparentes dans la publication du code et le sentiment que quelqu’un pourrait être en mesure d’utiliser cette version pour faire certains. une sorte de travail d’audit ou de contrôle. Et le fait est que ce n’est pas vraiment possible du tout.
Après la sortie, les utilisateurs de X ont partagé de nombreux fils de discussion interprétant le code pour conseiller les créateurs sur l’amélioration de la visibilité. Un article, consulté plus de 350 000 fois, déclarait que X « récompensera les personnes qui conversent » et « élèvera les vibrations de X ». Un autre article, avec plus de 20 000 vues, affirmait que la publication de vidéos était essentielle. Un troisième article recommandait de s’en tenir à une « niche » car « le changement de sujet nuit à votre portée ».
Thickstun a mis en garde contre le fait de dériver des stratégies de viralité à partir du code. «Ils ne peuvent pas tirer ces conclusions de ce qui a été publié», a-t-il déclaré. Le code révèle des détails opérationnels mineurs, tels que le filtrage du contenu datant de plus d’un jour. Thickstun a décrit une grande partie des informations comme « non exploitables » pour les créateurs de contenu.
Un changement structurel important sépare l’algorithme actuel de la version 2023. Le nouveau système utilise un grand modèle de langage de type Grok pour classer les publications. Ruggero Lazzaroni, titulaire d’un doctorat. chercheur à l’Université de Graz, a expliqué la différence : « Dans la version précédente, c’était codé en dur : vous preniez combien de fois quelque chose a été aimé, combien de fois quelque chose a été partagé, combien de fois quelque chose a reçu une réponse… et ensuite, sur cette base, vous calculez un score, puis vous classez la publication en fonction du score.
“Maintenant, le score ne dépend pas du nombre réel de likes et de partages, mais de la probabilité que Grok pense que vous aimeriez et partageriez une publication”, a poursuivi Lazzaroni. Ce décalage augmente l’opacité, selon Thickstun. « Une bien plus grande partie de la prise de décision… se produit au sein des réseaux neuronaux en boîte noire qu’ils s’entraînent sur leurs données », a-t-il déclaré. « De plus en plus, le pouvoir décisionnel de ces algorithmes disparaît non seulement de la vue du public, mais aussi de la vue ou de la compréhension même des ingénieurs internes qui travaillent sur ces systèmes, car ils sont transférés vers ces réseaux neuronaux. »
La nouvelle version omet les détails précédemment divulgués en 2023 sur la pondération des interactions pour le classement. En 2023, X précisait qu’une réponse équivalait à 27 retweets et qu’une réponse générant une réponse de l’auteur d’origine équivalait à 75 retweets. X a supprimé ces pondérations dans le dernier code, invoquant des « raisons de sécurité ».
Le code ne fournit aucune information sur les données de formation du modèle. Mohsen Foroughifar, professeur adjoint de technologies commerciales à l’Université Carnegie Mellon, a souligné cette lacune : “L’une des choses que je voudrais vraiment voir est de savoir quelles sont les données de formation qu’ils utilisent pour ce modèle. Si les données utilisées pour former ce modèle sont intrinsèquement biaisées, alors le modèle pourrait en fait finir par être toujours biaisé, quel que soit le type de choses que vous considérez dans le modèle. ”
Lazzaroni, qui travaille sur un projet financé par l’UE simulant des plateformes de médias sociaux pour tester des approches de recommandation, a noté que le code lui-même ne contient pas le modèle. « Nous avons le code pour exécuter l’algorithme, mais nous n’avons pas le modèle dont vous avez besoin pour exécuter l’algorithme », a-t-il déclaré. Cela empêche les chercheurs de reproduire l’algorithme de X.
L’étude de l’algorithme a une valeur au-delà des médias sociaux. Thickstun a observé que les défis liés aux recommandations sur les réseaux sociaux reflètent les problèmes des chatbots IA. « Un grand nombre de ces défis que nous constatons sur les plateformes de médias sociaux et les [systèmes] de recommandation apparaissent également de manière très similaire avec ces systèmes génératifs », a-t-il déclaré. “Vous pouvez donc en quelque sorte extrapoler les types de défis que nous avons rencontrés avec les plateformes de médias sociaux au type de défis que nous verrons avec l’interaction avec les plateformes GenAI.”
Lazzaroni, qui simule des comportements toxiques sur les réseaux sociaux, a critiqué les priorités dans le développement de l’IA. « Entreprise d’IA”Eh bien, pour maximiser les profits, optimisez les grands modèles linguistiques pour l’engagement des utilisateurs et non pour dire la vérité ou se soucier de la santé mentale des utilisateurs”, a-t-il déclaré. “Et c’est exactement le même problème : ils font plus de profits, mais les utilisateurs obtiennent une société pire, ou leur santé mentale se détériore.”
La sortie a eu lieu le mois dernier, la version 2023 servant de référence préalable. L’approche de X contraste avec d’autres plateformes, comme l’a noté Musk, bien que les chercheurs remettent en question son utilité à des fins de surveillance ou d’audit. Les interprétations des utilisateurs ont immédiatement proliféré, malgré les avertissements des experts sur les limites du code. La transition vers un classement basé sur un réseau neuronal remplace le décompte explicite des interactions par des prédictions de modèles, obscurcissant ainsi davantage les processus. Les expurgations couvrent à la fois les pondérations et les détails de la formation, limitant ainsi l’analyse externe.
Thickstun a souligné les implications de ce changement sur la compréhension interne et externe. L’accent mis par Foroughifar sur les données de formation souligne les risques de biais. Le défi de reproduction de Lazzaroni bloque la recherche basée sur la simulation. Ces éléments diminuent collectivement les allégations de transparence du communiqué, selon les chercheurs.
