Sam Camda
L’étude qui a déclenché un débat
Les performances de ChatGPT sont-elles en baisse ? Dans le domaine de l’intelligence artificielle, qui évolue rapidement, une étude récente a déclenché un débat qui a eu des répercussions bien au-delà de la communauté technique. L’étude, menée par des chercheurs de l’université de Stanford et de l’université de Californie à Berkeley, affirme que le modèle GPT-4 d’OpenAI, l’un des modèles de langage d’IA les plus avancés, a vu ses performances diminuer au fil du temps.
Les performances de ChatGPT sont-elles en baisse ? Les résultats et leur impact
Le document de recherche, intitulé“How Is ChatGPT’s Behavior Changing over Time ?“, a testé les versions de mars et juin 2023 de GPT-3.5 et GPT-4 sur diverses tâches. Le résultat le plus surprenant concerne la capacité du GPT-4 à identifier les nombres premiers, qui serait passée d’une précision de 97,6 % en mars à seulement 2,4 % en juin. À l’inverse, GPT-3.5 a amélioré ses performances au cours de la même période. Ces résultats ont non seulement alimenté les plaintes existantes concernant la baisse subjective des performances du GPT-4, mais ils ont également donné lieu à diverses théories et spéculations. Certains pensent qu’OpenAI “distille” des modèles pour réduire la charge de calcul, tandis que d’autres ont même suggéré des théories de conspiration non étayées, telles que la réduction par OpenAI des capacités de codage de GPT-4 pour promouvoir GitHub Copilot.
Réponse d’OpenAI et réactions de la communauté
Les conclusions de l’étude ont suscité des réactions mitigées de la part de la communauté de l’IA, ce qui a donné lieu à un débat plus large sur l’évaluation, la transparence et l’évolution des modèles d’IA.
Les performances de ChatGPT sont-elles en baisse ? La position d’OpenAI
OpenAI, l’organisation à l’origine de GPT-4, s’est efforcée de démentir toute affirmation selon laquelle les capacités de GPT-4 auraient diminué. Peter Welinder, vice-président des produits d’OpenAI, a souligné que chaque nouvelle version est conçue pour être plus intelligente que la précédente, suggérant qu’une utilisation accrue pourrait amener les utilisateurs à remarquer des problèmes qu’ils n’avaient pas vus auparavant. Cette déclaration, bien que rassurante pour certains, n’a pas éteint le débat, et des questions subsistent quant à la validité des résultats de l’étude et à la transparence d’OpenAI.
Les performances de ChatGPT sont-elles en baisse ? Avis de la communauté et critiques des experts
Certains membres de la communauté de l’IA ont exprimé leur soutien à l’étude, citant des preuves anecdotiques et des expériences personnelles concernant les performances du GPT-4. D’autres, comme Arvind Narayanan, professeur d’informatique à Princeton, ont critiqué la méthodologie de l’étude. M. Narayanan a mis en évidence des lacunes dans les critères d’évaluation, comme le fait d’évaluer l’immédiateté de l’exécution du code plutôt que sa correction. Il a fait valoir que la tentative du GPT-4 plus récent d’ajouter du texte non codé à sa sortie a été mal interprétée, ce qui a conduit à une perception biaisée de ses capacités.
Beaucoup de gens se demandent si les performances de #GPT4 et #ChatGPT ont changé avec le temps, alors Lingjiao Chen, @james_y_zou et moi-même les avons mesurées. Nous avons constaté des changements importants, y compris des baisses considérables dans certaines tâches de résolution de problèmes : https://t.co/jgulqjvPAO pic.twitter.com/uAN43UTmWN
– Matei Zaharia (@matei_zaharia) 19 juillet 2023
Implications plus larges et avenir de l’IA
Le débat sur les performances du GPT-4 n’est pas qu’une controverse passagère ; il met en évidence plusieurs aspects critiques du développement de l’IA qui ont des implications considérables.
Transparence et évaluation dans le développement de l’IA
L’incertitude entourant les résultats de l’étude met en évidence les difficultés à comprendre comment les modèles d’IA sont développés, affinés et évalués. Il souligne l’importance de la transparence dans l’architecture des modèles d’IA et soulève des questions sur les méthodologies utilisées pour évaluer les modèles d’IA. Des critères d’évaluation normalisés, clairs et impartiaux sont essentiels pour refléter les capacités réelles des modèles d’IA et instaurer la confiance dans les technologies d’IA.
Communication, collaboration et engagement communautaire
Les réactions mitigées à l’étude illustrent l’importance d’une communication claire entre les développeurs d’IA et la communauté des utilisateurs. Un dialogue ouvert, la collaboration et la réactivité peuvent favoriser la confiance et faciliter un développement et un déploiement responsables. Cet incident rappelle que l’IA est un domaine dynamique et qu’un engagement continu avec la communauté est vital pour l’innovation et la croissance.
Le paysage en constante évolution de l’IA et les considérations éthiques
L’IA n’est pas un domaine statique. Les modèles évoluent, les méthodologies changent et la compréhension de la communauté s’approfondit. L’étude récente sur les performances du ChatGPT est un microcosme des défis et des opportunités plus larges dans le domaine de l’IA. Il met en évidence la nature complexe du développement de l’IA, la nécessité d’une évaluation rigoureuse et transparente et l’importance des principes éthiques pour naviguer dans le paysage en constante évolution des technologies de l’IA.
Les performances de ChatGPT sont-elles en baisse ? Un examen plus approfondi de la méthodologie de l’étude
La méthodologie de l’étude elle-même mérite un examen plus approfondi. Les chercheurs ont utilisé l’accès à l’API pour tester les versions de mars et juin 2023 du GPT-3.5 et du GPT-4 sur des tâches telles que la résolution de problèmes mathématiques, la réponse à des questions délicates, la génération de codes et le raisonnement visuel. La sélection des tâches, la conception des expériences et l’interprétation des résultats jouent un rôle crucial dans la compréhension des conclusions de l’étude. Le choix de se concentrer sur des tâches spécifiques, telles que l’identification des nombres premiers, peut avoir influencé la perception globale des performances du GPT-4. En outre, l’approche de l’étude consistant à évaluer l’exécution du code plutôt que sa correction a été un point de désaccord entre les experts.
Le rôle de l’IA dans la société et l’importance de la confiance
Alors que l’IA continue d’imprégner divers aspects de notre vie, les questions soulevées par cette étude trouveront probablement un écho dans les discussions et les développements futurs. La recherche de la clarté, de la transparence et de l’innovation responsable reste un voyage permanent, reflétant la nature multiforme et évolutive de l’intelligence artificielle. L’incident souligne également l’importance de l’engagement communautaire, de la collaboration et du respect des principes éthiques, autant d’éléments essentiels au développement et au déploiement responsables des technologies de l’IA. La confiance dans l’IA ne concerne pas seulement la technologie elle-même, mais aussi les organisations et les individus qui la soutiennent. Une communication ouverte et honnête, le respect des règles éthiques et la prise en compte de l’impact sociétal plus large de l’IA sont essentiels pour instaurer et maintenir cette confiance.
