Que nous le prenions pour acquis ou non, les algorithmes d’apprentissage profond sont devenus une partie inséparable de notre vie quotidienne. Les flux personnalisés, la reconnaissance faciale et vocale, la recherche sur le web, les haut-parleurs intelligents, les assistants numériques, le courrier électronique et bien d’autres applications dont nous ne pouvons pas nous séparer utilisent des algorithmes d’apprentissage profond sous le capot.
Mais quelle est l’efficacité de l’apprentissage approfondi dans la recherche scientifique, où les problèmes sont souvent beaucoup plus complexes que la classification d’une image et où les exigences sont beaucoup plus sensibles que la recommandation de ce qu’il faut acheter ensuite ?
Pour répondre à cette question, Eric Schmidt, ancien PDG de Google, et Maithra Raghu, chercheuse sur l’IA de Google, ont élaboré un guide complet sur les différentes techniques d’apprentissage approfondi et leur application à la recherche scientifique.
« La quantité de données collectées dans un large éventail de domaines scientifiques augmente de façon spectaculaire, tant en taille qu’en complexité », écrivent les auteurs, ajoutant qu’avec les progrès de l’apprentissage machine, ce riche corpus de données peut offrir « de nombreuses possibilités passionnantes pour des applications d’apprentissage approfondi dans des contextes scientifiques ».
Lisez : [How deep learning algorithms can be used to measure social distancing]
Intitulé « A Survey of Deep Learning for Scientific Discovery », leur guide fournit une vue d’ensemble très accessible de l’apprentissage approfondi et de la réseaux de neurones pour les scientifiques qui ne sont pas nécessairement versés dans le langage complexe des algorithmes d’intelligence artificielle.
Je vous recommande vivement de lire le document de 48 pages dans son intégralité et de consulter nombre de ses références. Mais voici quelques points clés à retenir.
Vous n’avez pas nécessairement besoin de faire un apprentissage approfondi
L’apprentissage profond étant à la mode, il est facile d’être tenté de l’appliquer à tout et à n’importe quoi. Après tout, la proposition de base est très attrayante : Il s’agit d’un modèle d’IA de bout en bout qui prend un tas de données, développe une représentation mathématique et effectue des tâches complexes de classification et de prédiction.
Les réseaux neuronaux profonds peuvent s’attaquer à des problèmes précédemment résolus par d’autres types d’algorithmes d’apprentissage machine, tels que la recommandation de contenu ou la détection de fraude. Ils peuvent également traiter des problèmes qui étaient traditionnellement difficiles à traiter avec d’autres techniques d’apprentissage automatique, notamment les vision par ordinateur et les tâches de traitement du langage naturel (TAL).
Cependant, Schmidt et Raghu avertissent que, lors de la formulation d’un problème, il est important de se demander si l’apprentissage approfondi fournit l’ensemble d’outils adéquat pour le résoudre. « Dans de nombreux contextes, l’apprentissage approfondi n’est pas forcément la meilleure technique pour commencer ou la mieux adaptée au problème », écrivent-ils.
Pour de nombreux problèmes, plus simple les algorithmes d’apprentissage machine fournissent souvent des solutions plus efficaces. Par exemple, si vous voulez trouver la plus pertinente des caractéristiques chimiques de différentes substances, il est préférable d’utiliser la « réduction de la dimensionnalité », une technique qui permet de trouver les caractéristiques qui contribuent le plus aux résultats.
En revanche, si vous disposez de données limitées ou si vos données ont été soigneusement classées sous forme de tableau, vous pouvez envisager d’essayer un modèle de régression avant d’utiliser les réseaux de neurones. Les réseaux neuronaux ont généralement (mais pas toujours) besoin de beaucoup de données. Ils sont également difficiles à interpréter. En revanche, les algorithmes de régression linéaire et logistique peuvent fournir des résultats plus précis lorsque les données sont rares, surtout si le problème est de nature linéaire. Les modèles de régression fournissent également une équation mathématique claire avec des coefficients qui expliquent la pertinence de chaque caractéristique dans l’ensemble de données.
Apprentissage approfondi pour les tâches scientifiques liées à l’image
Un domaine dans lequel les algorithmes d’apprentissage profond ont été très efficaces est le traitement des données visuelles. Les auteurs décrivent les réseaux de neurones convolutifs comme « la famille la plus connue de réseaux de neurones » et « très utile pour travailler avec tout type de données d’images ».
En dehors de la les applications commerciales et industrielles, les CNN ont trouvé leur place dans de nombreux domaines scientifiques. L’une des applications les plus connues des réseaux neuronaux convolutifs est l’analyse de l’imagerie médicale. Il existe déjà de nombreux algorithmes d’apprentissage profond qui examinent les scanners et les rayons X et aident au diagnostic de maladies telles que le cancer. Récemment, les scientifiques ont utilisé les réseaux de neurones convolutionnels pour trouver les symptômes du nouveau coronavirus en radiographie du thorax.
Certaines des applications visuelles de l’apprentissage approfondi sont moins connues. Par exemple, les neuroscientifiques expérimentent des réseaux neuronaux de post-détection pour suivre les mouvements des animaux et analyser leur comportement.
La technologie de la PNL peut s’étendre à d’autres domaines
Un autre domaine qui a énormément bénéficié des progrès réalisés dans les algorithmes d’apprentissage approfondi est le traitement du langage naturel. Les réseaux neuronaux récurrents, les réseaux à mémoire longue et courte durée (LSTM) et les transformateurs se sont avérés particulièrement efficaces pour effectuer des tâches liées au langage, telles que la traduction et la réponse à des questions.
Pour être clair, les algorithmes d’IA actuels traitent le langage en fondamentalement différents et inférieurs que le cerveau humain. Même le plus grand réseau neuronal échouera à certaines des tâches les plus simples qu’un enfant humain ayant une compréhension très rudimentaire du langage peut accomplir.
En effet, comme tous les autres types de réseaux neuronaux, les RNN et les transformateurs sont au cœur même des machines de reconnaissance de formes. Ils peuvent trouver des motifs récurrents dans des séquences de données, qu’il s’agisse de texte ou de tout autre type d’information. Selon Schmidt et Raghu, ces structures peuvent être utilisées dans « les problèmes où les données ont une nature séquentielle (avec différentes séquences de longueur variable), et les problèmes de prédiction tels que la détermination du jeton de séquence suivant, la transformation d’une séquence en une autre, ou la détermination des similitudes de séquence sont des tâches importantes ».
Bien que ce programme présente En raison des limites du langage abstrait et implicite, il a des applications très intéressantes pour la recherche scientifique dans des domaines tels que la génomique et la protéomique, où les structures séquentielles jouent un rôle important.
Les transformateurs se sont avérés particulièrement efficaces dans la recherche scientifique. Dans Un projet récent, les chercheurs en IA ont utilisé l’apprentissage non supervisé pour former un transformateur bidirectionnel sur 86 milliards d’acides aminés à travers 250 millions de séquences couvrant la diversité de l’évolution. « Le modèle qui en résulte établit une correspondance entre les séquences brutes et les représentations des propriétés biologiques sans étiquette ni connaissance préalable du domaine », écrivent les chercheurs. C’est une étape importante pour comprendre les séquences de protéines et extraire des informations générales et transférables sur les protéines à partir des séquences brutes.
Et si vous n’avez pas beaucoup de données ?
Mais les RAG ont également trouvé des applications pratiques dans la recherche scientifique, notamment l’augmentation des données dans l’imagerie médicale et la génération de protéines. Sur un projet récent, les chercheurs en IA ont formé un GAN pour générer des séquences de protéines fonctionnelles. Le modèle démontre « le potentiel de l’intelligence artificielle pour générer rapidement de nouvelles protéines fonctionnelles très diverses dans le cadre des contraintes biologiques autorisées de l’espace des séquences », écrivent les chercheurs.
Renforcement de l’apprentissage est un autre domaine prometteur pour la recherche scientifique, où les données sont rares et la collecte de données difficile et coûteuse. Dans le cadre de l’apprentissage par renforcement, les agents d’IA explorent eux-mêmes leur espace à problèmes et développent leur comportement en optimisant leurs actions pour une fonction de récompense.
L’IA générative et l’apprentissage par renforcement s’accompagnent toutefois de certaines réserves. « Nous appelons ces méthodes avancées car elles sont souvent plus complexes à mettre en œuvre, et peuvent nécessiter des propriétés spécifiques du problème pour être utiles, par exemple, un excellent modèle/simulateur d’environnement pour l’apprentissage par renforcement », notent Schmidt et Raghu.
Les questions d’interprétabilité de la recherche scientifique et de l’apprentissage approfondi
Un autre défi que pose souvent l’apprentissage approfondi est l’interprétabilité. Les réseaux neuronaux profonds sont des fonctions complexes dont les paramètres peuvent se chiffrer en millions, voire en milliards, et il est souvent difficile de comprendre comment ils résolvent les problèmes et font des prévisions.
Cela peut poser un problème dans de nombreux domaines de la recherche scientifique, où l’accent est mis sur la compréhension plutôt que sur la prévision, et où les chercheurs ont cherché à identifier les mécanismes sous-jacents des tendances observées dans les données. « En appliquant l’apprentissage approfondi dans des contextes scientifiques, nous pouvons utiliser ces phénomènes observés comme cibles de prédiction, mais le but ultime reste de comprendre quels attributs donnent lieu à ces observations », écrivent Schmidt et Raghu.
Heureusement, les avancées en matière de l’intelligence artificielle explicable ont aidé, dans une certaine mesure, à surmonter ces obstacles. Bien que la compréhension et le contrôle des mécanismes de prise de décision étape par étape des réseaux neuronaux restent un défi, les techniques développées ces dernières années nous aident à interpréter le processus.
Les techniques d’interprétabilité de l’IA de Schmidt et Raghu en deux grandes catégories : Attribution de caractéristiques et inspection de modèles.
L’attribution de caractéristiques nous aide à mieux comprendre quelles caractéristiques d’un échantillon spécifique ont contribué à la production d’un réseau neuronal. Ces techniques produisent des cartes des points saillants qui mettent en évidence ces caractéristiques. Par exemple, si vous inspectez un classificateur d’images, la carte des points saillants mettra en évidence les parties de l’image sur lesquelles l’IA s’est basée pour déterminer sa catégorie.
Il existe différentes techniques pour produire des cartes des points saillants, notamment GradCAM, LIME et RISE. Ce sont de bonnes méthodes pour inspecter la production des réseaux de neurones afin de comprendre si leurs décisions sont basées sur les bonnes ou les mauvaises caractéristiques.
Exemples de cartes des points saillants produites par RISE
L’inspection des modèles, en revanche, tente de sonder les neurones dans les couches cachées d’un réseau et de trouver le type d’entrée qui les active. Ces techniques permettent de mieux comprendre le fonctionnement général du modèle d’IA. Parmi les travaux intéressants réalisés dans ce domaine, citons GANPaint, qui vous permet d’examiner les effets de la manipulation de neurones individuels, et Activation Atlassses, un outil qui permet de visualiser les interactions entre les neurones dans un réseau neuronal.
Les possibilités d’appliquer l’apprentissage approfondi à la découverte scientifique sont nombreuses, et le document compilé par Schmidt et Raghu constitue un excellent guide de départ pour les scientifiques en herbe.
« Alors que la quantité de données collectées dans de nombreux domaines scientifiques divers continue d’augmenter, tant en quantité qu’en complexité, les méthodes d’apprentissage approfondi offrent de nombreuses possibilités passionnantes, tant pour les problèmes prédictifs fondamentaux que pour la révélation des propriétés subtiles du processus de génération de données sous-jacent », écrivent les auteurs.
Cette histoire est republiée à partir de TechTalks, le blog qui explore comment la technologie résout les problèmes… et en crée de nouveaux. Comme eux sur Facebook ici et les suivre jusqu’ici :
Couverture de la Corona
Lisez notre couverture quotidienne sur la façon dont l’industrie technologique réagit au coronavirus et abonnez-vous à notre bulletin hebdomadaire Coronavirus in Context.
Pour des conseils et des astuces sur le travail à distance, consultez nos articles sur les quarts de croissance ici ou suivez-nous sur Twitter.
