OpenAI a discrètement dévoilé la dernière incarnation de son à la une générateur de texte : GPT-3.
Le laboratoire de recherche a d’abord déclaré que le potentiel de son prédécesseur à répandre la désinformation le rendait trop dangereux à partager. Cette décision a conduit des journalistes terrifiés à mettre en garde contre l’apocalypse imminente des robots – ce qui a généré un grand battage publicitaire utile pour le GPT-2.
Aujourd’hui, OpenAI a dévoilé son grand frère. Et il est énorme. Le modèle de langue comporte 175 milliards de paramètres, soit 10 fois plus que les 1,6 milliard du GPT-2, qui était également considéré comme gigantesque lors de sa sortie l’année dernière.
[Read: Remember that scary AI text-generator that was too dangerous to release? It’s out now]
Le document de recherche éclipse également les GPT-2, passant de 25 à 72 pages. Nous n’avons pas encore tout examiné, mais après avoir feuilleté le document, nous avons repéré des éléments frappants.
Plus grand et meilleur ?
Le GPT-3 peut effectuer une gamme impressionnante de tâches de traitement du langage naturel – sans qu’il soit nécessaire de le régler avec précision pour chaque tâche spécifique.
Il est maintenant capable de traduire, de répondre à des questions, de comprendre des textes, d’écrire de la poésie et même de faire des calculs de base :
Il est également assez bon pour améliorer la correction de la grammaire anglaise :
Le GPT-2 semble également avoir amélioré la capacité d’écriture tant vantée de son prédécesseur.
L’équipe de recherche a testé ses compétences en demandant aux évaluateurs de distinguer ses œuvres de celles créées par les humains.
Celui qu’ils ont trouvé le plus convaincant était un rapport approfondi sur une scission historique du parti méthodiste unifié Chuch :
Cependant, mon exemple préféré de son écriture est celui que les humains ont trouvé le plus facile à reconnaître comme étant fait par une machine :
Ce rapport n’a peut-être pas convaincu les examinateurs, mais il a certainement fait preuve d’un certain flair et d’une capacité pour le surréalisme. En comparaison, voici un exemple d’un article rédigé par GPT-2 que l’OpenAI a publié précédemment :
de licornes parlantes. Crédit : OpenAI
Les compétences du GPT-3 en matière d’établissement de rapports ont conduit les chercheurs à émettre un nouvel avertissement sur son potentiel d’utilisation abusive :
La capacité du GPT-3 à générer plusieurs paragraphes de contenu synthétique que les gens ont du mal à distinguer du texte écrit par l’homme … représente une étape importante à cet égard.
Cependant, il est peu probable que le système prenne les emplois de pirates à deux balles pour l’instant, Dieu merci. Pas parce qu’il manque de compétences, mais parce qu’il est trop cher.
C’est parce que le système a besoin d’une énorme puissance de calcul. Comme l’a expliqué Elliot Turner, le PDG de la société de communication AI Hyperia, dans un tweet :
Lecture du document OpenAI GPT-3. Performances impressionnantes dans de nombreuses tâches linguistiques peu nombreuses. Le coût de la formation à ce modèle linguistique paramétrique de 175 milliards semble stupéfiant : Près de 12 millions de dollars de calculs basés sur les modèles de coûts GPU/TPU du nuage public (200x le prix du GPT-2) pic.twitter.com/5ztr4cMm3L
– Elliot Turner (@eturner303) 29 mai 2020
Cela devrait également réduire son pouvoir d’être utilisé pour le mal, car les seules personnes qui pourraient se le permettre sont sans doute les États-nations et les sociétés multinationales.
Pour l’instant, nous devrons attendre de voir ce qui se passera lorsque le modèle sera rendu public.
Publié le 29 mai 2020 – 13:48 UTC
