OpenAI a développé un nouveau modèle basé sur GPT-4, CriticGPT, qui constitue une étape importante vers l’évaluation des résultats produits par les systèmes d’IA avancés. Le modèle est conçu pour détecter les erreurs dans le code ChatGPT.
Des recherches ont montré que lorsque les gens examinent le code ChatGPT avec l’aide de CriticGPT, ils obtiennent des résultats 60 % meilleurs que ceux sans aide. OpenAI vise à fournir un support d’intelligence artificielle aux formateurs en intégrant des modèles similaires dans le processus de labellisation « Reinforcement Learning from Human Feedback » (RLHF). Alors, quel est ce CriticGPT ? Regardons de plus près.
Qu’est-ce que CriticGPT et à quoi sert-il ?
CriticGPT joue un rôle important dans le processus RLHF. À mesure que les capacités de raisonnement et de comportement de ChatGPT s’améliorent, ses erreurs deviennent plus subtiles et plus difficiles à repérer pour les formateurs d’IA, et CriticGPT, en tant que modèle formé pour écrire des critiques qui mettent en évidence les inexactitudes dans les réponses de ChatGPT, aide les formateurs à repérer les problèmes dans les réponses rédigées par le modèle sans l’aide de l’IA. Le fait que les gens utilisent CriticGPT permet à l’IA d’augmenter leurs compétences, ce qui conduit à des critiques et des modèles plus approfondis avec moins d’erreurs hallucinatoires. Pour plus d’informations, vous pouvez visiter ce lien.
Nous avons compilé un tableau de certaines des fonctionnalités de CriticGPT qui ont retenu notre attention:
Fonctionnalité | Description |
Identification des erreurs | Identifie les erreurs dans la sortie du code de ChatGPT, y compris les erreurs subtiles. |
Génération de critiques | Génère des critiques qui mettent en évidence les inexactitudes dans les réponses de ChatGPT. |
Augmentation humaine | Augmente les compétences des formateurs humains, ce qui permet d’obtenir des critiques plus complètes que celles des humains seuls. |
Hallucinations réduites | Produit moins d’hallucinations (faux positifs) et de pinaillages (critiques inutiles) que ChatGPT. |
Étiquetage RLHF amélioré | Améliore l’efficacité et la précision de l’étiquetage RLHF en fournissant une assistance IA explicite. |
Recherche de temps de test | Utilise une recherche supplémentaire au moment du test pour générer des critiques plus longues et plus complètes. |
Configuration de compromis précision-rappel | Permet de configurer un compromis entre le taux d’hallucinations et le nombre de bugs détectés. |
La formation de CriticGPT est réalisée à l’aide de la méthode RLHF. Mais contrairement à ChatGPT, CriticGPT voit beaucoup d’entrées avec des erreurs qu’il doit ensuite critiquer. Les formateurs d’IA ajoutent manuellement des bugs au code écrit par ChatGPT, puis écrivent des exemples de commentaires comme s’ils avaient détecté le bug qu’ils ont ajouté. En comparant plusieurs critiques du code modifié, la même personne peut facilement reconnaître quand une critique a détecté le bug qu’elle a ajouté. Les expériences examinent si CriticGPT détecte les bugs insérés et les bugs ChatGPT « naturels » détectés par un formateur précédent. Les critiques CriticGPT sont préférées par les instructeurs aux critiques ChatGPT pour les erreurs naturelles dans 63 % des cas.
![OpenAI présente CriticGPT pour déboguer le code généré par ChatGPT 2 OpenAI présente CriticGPT pour déboguer le code généré par ChatGPT](https://techbriefly.com/wp-content/uploads/2024/06/OpenAI-introduces-CriticGPT-to-debug-code-generated-by-ChatGPT_02.jpg)
CriticGPT a également certaines limites. Le modèle est formé sur de courtes réponses ChatGPT. Pour superviser des tâches plus longues et plus complexes à l’avenir, des méthodes doivent être développées pour aider les formateurs à comprendre ces tâches. De plus, les modèles hallucinent encore et parfois, les entraîneurs font des erreurs d’étiquetage après avoir vu ces hallucinations. Dans certains cas, des erreurs réelles peuvent se propager dans plusieurs parties d’une réponse. OpenAI souligne la nécessité de disposer de meilleurs outils pour aligner des systèmes d’IA de plus en plus complexes. La recherche sur CriticGPT montre le potentiel de l’application du RLHF au GPT-4 pour aider les gens à générer de meilleures données RLHF pour le GPT-4. OpenAI prévoit d’étendre davantage ce travail et de le mettre en pratique.
Crédit image en vedette : OpenAI
Source: OpenAI présente CriticGPT pour déboguer le code généré par ChatGPT