ChatGPT : une technologie pleine de potentiel, si l’on sait bien s’en servir29 juin 2023

Après « NFT » en 2020/21, « métavers » en 2021/22, « ChatGPT » pourrait sans aucun doute être considéré comme le « buzzword de l’année 2022/23 ». Acclamé ou déclamé, il est fortement débattu sur les plateaux de télévision, les réseaux sociaux, et au sein des entreprises. Est-ce l’émergence d’une technologie révolutionnaire, au même titre que l’apparition des micro-processeurs, comme le pointe Bill Gates, ou simplement « la popularisation d’une technologie déjà existante » comme l’évoque Yann LeCun, directeur scientifique IA de Facebook ?

La réponse se situe probablement entre les deux. Oui, ChatGPT apporte de nombreuses avancées en termes de traitement du langage humain. Utilisé adroitement, il permet d’améliorer nettement les performances de certains modèles d’IA, auparavant à la pointe de la technologie. Mais derrière ChatGPT se cachent des modèles de langage connus depuis plusieurs années, déjà largement utilisés et exploités par les experts en IA, notamment chez eleven, avec l’accompagnement de plus d’une dizaine de projets types pour des acteurs industriels et des start-ups.

I- Le fonctionnement en quelques mots

ChatGPT, le chatbot développé par OpenAI, est l’une des applications d’une technologie en plein essor depuis 2018 : les LLMs, ou Modèles d’Apprentissage de Langue. Parfois également appelés « modèles de fondation », ils sont le cœur de la compréhension du langage humain par la machine. Pour ce faire, ils se basent sur une architecture complexe de réseaux de neurones, et des centaines de milliards de paramètres à ajuster par itération. Le principe est simple : pour un échantillon de phrase donné, prédire le mot suivant.

L’IA détermine ainsi la signification d’un mot en prenant en compte les contextes dans lesquels elle l’a croisé. L’entrainement d’un modèle avec autant de paramètres nécessite une grande quantité de données, issues généralement de données publiquement accessibles telles que Wikipedia (3% du corpus d’entainement), des articles de presses, des livres en libre accès, etc. A titre d’exemple, GPT-3 (Generative Pre-trained Transformers-3), composé de 175 milliards de paramètres, a nécessité l’ingestion de près de 570 Go de données, soit environ 300 milliards de mots. Ces chiffres pharaoniques sont synonymes de coûts financiers considérables : on parle de 4,6 millions de dollars dépensés pour l’entrainement de GPT-3, sans compter l’impact écologique en découlant.

Figure 1 : Evolution du nombre de paramètres utilisés par les modèles LLMs depuis 2018 (4)

Il en résulte des modèles d’IA très puissants, capables de comprendre toute la sémantique de chaque langue sur laquelle ils ont été entrainés, ce qui leur permet de réaliser de nombreux cas d’usage : traduction de textes, rédaction d’essais, etc… Plus largement, ils peuvent être spécialisés, c’est-à-dire adaptés à un cas d’usage, leur conférant un large éventail de tâches possibles, comme ChatGPT.

De GPT à ChatGPT

ChatGPT est un chatbot basé sur GPT-3 capable d’émuler l’expérience humaine d’une conversation réelle. Treize mille couples de questions/réponses ont été utilisés pour transformer un modèle de « prédiction du mot suivant » en un modèle capable de répondre à des questions. En parallèle, un modèle de récompense – d’apprentissage par renforcement –  aide ChatGPT à s’orienter vers la production de réponses attendues par un humain. Cette dernière étape, lors de laquelle des humains classent différentes réponses possibles pour une même question, permet la modération de certains contenus considérés comme illégaux ou dangereux.

II- Une technologie loin d’être infaillible

Malgré ses performances remarquables, ChatGPT souffre à ce jour de sévères limites éthiques et techniques.

Limites éthiques

D’un point de vue éthique, la technologie se confronte à plusieurs problématiques de taille, liées à son fonctionnement et à son processus d’entrainement.

• Confidentialité : la version gratuite de ChatGPT peut stocker et réutiliser toute entrée de texte de l’utilisateur, soulevant des problèmes de confidentialité significatifs.
• Propriété Intellectuelle : les droits d’auteur du contenu généré par l’IA constituent à ce jour un vide juridique. Généralement, des modèles comme ChatGPT sont entrainés sur du contenu diversifié, comme de la musique, des images, et des livres, sans offrir de compensation aux créateurs originaux. Cette approche pourrait conduire à des conflits légaux potentiels et des défis autour des droits de propriété intellectuelle.
•  Biais et Stéréotypes : ChatGPT peut apprendre des préjugés ou des biais raciaux, de classe ou autres, et donnerde mauvaises réponses par suite d’un manque d’équité et d’inclusivité dans le processus d’entrainement des modèles.
• Contenu Nuisible : bien qu’il existe des mesures pour empêcher ChatGPT de générer du contenu nuisible, contourner ces protections semble relativement facile. Par exemple, simplement situer l’interaction dans le cadre d’un roman policier peut permettre au modèle de générer du contenu qui ne serait pas censuré.

Les LLMs basés sur l’open data  et disponibles en open source tels qu’Alpaca, développé par Stanford, répondent aux limites de confidentialité et de propriété intellectuelle, mais performent moins bien et restent sensibles aux biais et contenus nuisibles.

Limites Techniques

ChatGPT fournit une réponse plausible, qui dénote le moins, au vu de tous les contextes qu’il a rencontré lors de son entrainement. Il ne connait donc pas le concept de vérité. De ce point clé découlent plusieurs limites techniques :

• Fausse Information : ChatGPT, comme tout modèle IA, peut occasionnellement générer des informations incorrectes (effet « d’hallucination ». Un étude de l’université de Hong Kong a mesuré un taux d’erreur de 37 % (3). Sur des sujets polémiques, il peut se tromper en fournissant des réponses guidées par le consensus au lieu d’un point de vue équilibré.
• Évolution Limitée : l’IA générative comme ChatGPT est le reflet des données sur lesquelles elle a été formée. Elle fonctionne de manière optimale si les sources de données sont d’une bonne qualité et convergentes.
• Compréhension Limitée : malgré ses capacités avancées, ChatGPT n’est pas conçu pour comprendre fondamentalement les tâches qu’il effectue. Il ne possède pas la capacité de raisonnement logique, pour résoudre des problèmes mathématiques par exemple, ce qui nécessite le développement d’outils dédiés.
• Outil de Persuasion : ChatGPT n’est pas conçu pour vérifier les faits de ses données mais pour générer des réponses probables basées sur des contextes. Dès lors, il est rapidement possible d’induire ChatGPT en erreur, en le persuadant d’une fausse information, qu’il peut par la suite utiliser comme source d’information.

 

Plusieurs options existent pour contourner ces limites techniques : le recours à des frameworks permettant de sourcer les informations et de chercher sur des sources externes (comme LangChain), l’utilisation de GPT-4 (la dernière version payante d’OpenAI et plus performante), ou la spécialisation de ChatGPT à des cas d’usage spécifiques.

III- Comment Exploiter le Plein Potentiel de ChatGPT

Heureusement, il ne s’agit tout d’abord pas d’entrainer un modèle de language from scratch, mais de bénéficier de son apprentissage de la langue pour lui faire effectuer des tâches précises. On parle de « Transfert Learning » lorsqu’on ajuste un modèle pré-entrainé sur un cas d’usage spécifique, étape significativement moins énergivore.

ChatGPT est une technologie utile et prometteuse, qui, à l’avenir, pourrait être utilisée dans de nombreux domaines. Chez eleven, nous faisons face à un engouement des différents métiers à la hauteur de la médiatisation du sujet, et évoquons avec celles-ci de nombreuses applications :

• Communication : génération de contenus avec du texte, des images et des vidéos pour des supports de communication ou les réseaux sociaux
• Marketing : génération de contenus pour personnaliser les offres
• Achats et vente : analyse automatique des appels d’offre
• Vente : aide à la réponse à des questions, devis, appels d’offres
• Service client : agents conversationnels, analyse de retours clients,…
• Ressources Humaines : screening automatique de CVs avec extraction d’informations clés, génération de fiches de postes, développement de questionnaires pour l’embarquement de nouveaux collaborateurs,…
• Juridique : analyses de documents pour identifier la présence de données personnelles, analyse et synthèse de contrats, génération de templates de contrats,…
• Formation : génération de contenu, scenarios pour des supports de formation
• Veille technologique : synthèse de contenus en ligne, de white papers,…

Plus généralement, les modèles de langage peuvent être mis à contribution pour de nombreuses tâches, de l’automatisation des processus, aux tâches humaines complexes, telles que l’analyse des données et le traitement des documents.

Les projets qu’eleven a accompagné ont toutefois mis en lumière certains pré-requis pour une utilisation efficace de la technologie :

• Le Plug & Play ne fonctionne pas : l’étape d’adaptation du modèle est indispensable pour réaliser de bonnes performances sur des données spécifiques, telles que les documents techniques d’une entreprise du bâtiment, ou la compréhension d’un PLU (Plan Local d’Urbanisme) pour en extraire les informations attendues.
• L’écriture des prompts est centrale pour avoir une réponse attendue : ils doivent à la fois être clairs, concis et inclure suffisamment de contexte pour être représentatifs des réponses que le modèle est censé générer.
• Le corpus de documents doit être vaste et varié : la sélection des documents pour le fine-tuning est un facteur clé à considérer et doit englober les différents sujets pour aider le modèle à apprendre un ensemble diversifié de réponses sans s’éloigner de l’objectif initial de l’outil en question.

Suivant ces lignes de conduite, nous avons amélioré des performances d’extraction d’informations clés de PLU de 13% avec une méthode Plug & Play, à 55% avec une bonne pré-sélection du corpus et du « prompt engineering ». A noter que la meilleure performance obtenue sans les modèles de langage est de 26% pour un tel sujet, soit deux fois meilleur que GPT sans ajustements, et deux fois moins bien que GPT avec de l’accompagnement.

Eleven accompagne les entreprises dans l’expérimentation, le développement et l’intégration de ces outils pour des cas d’usage concrets. Avec une approche stratégique, des attentes réaliste, et surtout une compréhension claire de son fonctionnement et de ses limites, les entreprises peuvent véritablement bénéficier de la technologie derrière ChatGPT.

Sources:

(1)      https://www.independent.co.uk/tech/harvard-chatbot-teacher-computer-science-b2363114.html
(2)      https://fr.wikipedia.org/wiki/GPT-3
(3)      https://arxiv.org/pdf/2302.04023.pdf
(4)      https://huggingface.co/blog/large-language-models