[H.S] Scientifique

[Moriarty]

Non loin

[bigdudu]

T'habites à Fleury ?

[udinese]

La première image du fond de l'abîme :



Voici la première (véritable) image d'un trou noir

[ajacques]

Ok bon là ça commence un peu à me faire flipper.

L’intelligence artificielle décode des images perçues par le cerveau humain

Si quelqu'un a l'article en entier je ne dirais pas non ...

[Xavi Jacob]

Ah oui mais pas de panique, je pense que l'ONU va adopter une charte de bonne conduite et personne ne pensera à l'utiliser à mauvais escient.

[ajacques]

Ouf !

[Isaac]

Ok bon là ça commence un peu à me faire flipper.

L’intelligence artificielle décode des images perçues par le cerveau humain

Si quelqu'un a l'article en entier je ne dirais pas non ...

Ok Raoult

[Magenta]

On va enfin découvrir ce qu'il se passe dans le cerveau de PF quand il nous sort un titre de topic. Not ready.

[ajacques]

On va enfin découvrir ce qu'il se passe dans le cerveau de PF quand il nous sort un titre de topic. Not ready.

[Hastings]

Ok bon là ça commence un peu à me faire flipper.

L’intelligence artificielle décode des images perçues par le cerveau humain

Si quelqu'un a l'article en entier je ne dirais pas non ...

Cliquez ici pour afficher le contenu cachéMasquer

La Matinale du Monde, vendredi 20 octobre 2023 1389 mots

L'intelligence artificielle décode des images perçues par le cerveau humain

Par Hervé Morin

L'intelligence artificielle (IA) pourra-t-elle un jour lire directement dans notre cerveau, y traquer nos pensées ? Une série de travaux récents suggère en tout cas que l'IA est en mesure de décoder et de traduire toujours mieux, sous forme de textes et d'images, notre activité cérébrale, lorsque nous écoutons un récit, voulons parler ou regardons des images. Les derniers en date, présentés mercredi 18 octobre par une équipe de Meta AI (ex-Facebook) à Paris, témoignent de façon spectaculaire de ces avancées.

Jean-Rémi King et ses collègues décrivent comment leurs algorithmes d'IA sont parvenus à reproduire avec fidélité des photographies regardées par des volontaires en se fondant sur l'analyse de l'activité de leur cerveau. Leurs observations sont présentées dans un preprint – une publication non encore relue par les pairs avant publication dans une revue scientifique. Elles portent sur des jeux de données obtenues par magnétoencéphalographie (MEG) ou par imagerie par résonance magnétique fonctionnelle (IRMf) sur des volontaires à qui des photographies étaient projetées. Ces données ont ensuite été soumises à une série de décodeurs par l'IA qui ont appris à les interpréter et à les retranscrire en images.

Le résultat ? Si la ressemblance entre l'original et la copie n'est pas parfaite, les similitudes sont souvent frappantes : un zèbre se trouve revêtu d'un mélange de peau de vache et d'okapi, une petite fille au cerf-volant se retrouve avec un objet non identifié au-dessus de la tête, mais un surfeur semble prendre la même vague que son modèle, et un skieur en combinaison rouge conserve la même posture que l'original. Effet waouh garanti, « même pour les chercheurs de notre équipe, admet Jean-Rémi King, chercheur académique (CNRS, ENS) en détachement pour cinq ans à Meta AI. Il y a encore deux ans, je n'aurais pas pensé que ce type de résultat serait possible. »

Des décodeurs de cerveau

Ces derniers mois, plusieurs publications, cette fois dans le domaine de la parole, avaient rappelé le potentiel de décodage de l'activité cérébrale par l'IA, que ce soit par des voies invasives – recueil de données par l'intermédiaire d'électrodes implantées dans le cerveau chez des personnes paralysées – ou non invasives, comme avec la MEG, l'IRMf, de grosses machines dans lesquelles la tête des sujets est plongée, mais aussi avec un simple bonnet pour les électroencéphalogrammes (EEG).

Le 1er mai, dans Nature Neuroscience, une équipe de l'université d'Austin (Etats-Unis), dirigée par Alexander Huth, décrivait avoir tenté de faire reproduire grâce à un décodeur d'IA de petites histoires entendues par des sujets placés dans une IRMf. L'expérience n'était pas totalement concluante, mais montrait que l'IA pouvait en partie retrouver les mots et le sens général. Elle pouvait aussi produire un texte à partir d'un récit imaginé par les volontaires, ou d'une vidéo qu'ils visionnaient. Une part du sens était préservée, avec une fidélité supérieure à un texte purement aléatoire. Comme si le cerveau, à travers ces diverses modalités – récit écouté, imaginé ou observé –, produisait « un code neural partagé entre le visuel et la parole », commente Jean-Rémi King.

Le 5 octobre, dans Nature Machine Intelligence, son équipe publiait des résultats assez comparables sur le décodage de la perception de la parole, en s'appuyant sur un jeu de données en EEG et en MEG, cette dernière offrant les résultats les plus précis : « A partir de trois secondes de signaux en MEG, notre modèle pouvait identifier le segment de parole correspondant avec une précision de 41 % sur plus de mille possibilités distinctes en moyenne, et 80 % pour les meilleurs participants », écrivent les chercheurs de Meta AI. L'IA pouvait reconnaître des mots et des phrases absents des données d'entraînement.

C'est le même principe qui a été mis en œuvre par l'équipe parisienne pour la reconnaissance des images perçues. Là encore, « les images sont loin d'être parfaites, mais le contenu sémantique est proche du modèle » . Un panda se retrouve ainsi interprété comme un ours avec des taches blanches. Ces résultats sont le fruit de compromis. Si l'IRMf, dont la traduction est présentée dans la vidéo ci-dessous, offre une image très détaillée de l'activité cérébrale, elle ne le fait qu'à une fréquence d'une image toutes les deux secondes.

« C'est trop lent pour traiter un flux, comme une vidéo ou de la parole », constate Jean-Rémi King. La MEG est moins bien définie mais permet de récupérer jusqu'à cinq mille données cérébrales par seconde, ce qui offre la possibilité d'engendrer, comme illustré dans la vidéo ci-dessous, un flux d'images reconstituées.

Les images décodées qui en découlent sont moins précises mais plus nombreuses, et permettent de s'approcher d'une reconstitution en temps réel – c'est ce qui distingue le nouveau preprint, qualifié d' « excellent » par Alexander Huth. Rufin VanRullen (Centre de recherche cerveau et cognition, Toulouse), qui a récemment publié une étude sur le décodage d'images tirées d'IRMf, note que la MEG « nous rapproche beaucoup plus du temps réel et d'applications potentielles ».

Les neurones de l'IA

Les tentatives de décodage de l'activité cérébrale, entamées il y a une quinzaine d'années, se heurtent à deux obstacles : les signaux recueillis sont « bruités », peu interprétables et, surtout, on ne sait pas bien comment le cerveau représente l'information, et encore moins le langage. « L'IA s'attaque à ces deux problèmes , constate Jean-Rémi King. Des travaux ont montré que les logiciels de traduction automatique fondés sur le deep learning, une forme d'IA, génèrent des modèles de la parole similaires à ce que le cerveau se représente. » Cette similarité peut désormais être quantifiée : les neurones de l'IA répondent-ils de la même manière aux verbes et aux noms, par exemple ? A la surprise générale, on a constaté un alignement assez fort entre IA et cerveau, note Jean-Rémi King, qui a utilisé cette découverte pour construire son modèle de décodage cérébral.

Les perspectives concernent d'abord la recherche fondamentale, qui dispose d'un nouvel outil pour explorer le fonctionnement du cerveau humain et animal, la perception, l'origine du langage, mais aussi les différences de genre ou culturelles – une étude a ainsi comparé par le biais de l'IA l'activité cérébrale de locuteurs anglophones, francophones et sinophones. On voit aussi poindre des retombées pour les personnes paralysées ou en état de conscience altérée, dont l'IA pourrait se faire l'interprète, comme l'ont suggéré deux études américaines récentes montrant une vitesse de décodage proche de l'élocution naturelle – cette fois grâce à des implants.

D'autres retombées peuvent sembler plus inquiétantes : l'IA pourrait-elle lire dans nos pensées à notre insu ? Jean-Rémi King souligne que, « quand une personne pense ou imagine quelque chose, les signaux sont extrêmement faibles », bien plus difficiles à interpréter de façon non invasive que ceux qui sont engendrés par la perception de la parole ou des images, par exemple. L'équipe d'Austin a montré qu'il suffisait de compter à l'envers dans sa tête pour rendre l'IA inopérante. Raison pour laquelle Alexander Huth ne croit pas à l'efficacité d'un détecteur de mensonges basé sur l'IA : « Nos technologies de décodage restent très soumises à la volonté du sujet », dit-il. Rufin VanRullen suggère qu'il serait cependant possible qu'un système de décodage apprenne à détecter des indices de mensonge, mais il faudrait pour cela que le sujet se prête à un long entraînement de l'IA.

Car c'est là une des faiblesses des décodeurs de cerveau : pour entraîner l'IA de Meta, il aura fallu que quatre participants se prêtent à douze sessions de MEG durant lesquelles ils ont dû visionner plus de vingt mille images. L'IA ne peut transposer ses capacités de décodage à une personne qui ne se serait pas prêtée à cet entraînement. Qui plus est, les appareils d'IRM et scanners MEG ne sont pour l'heure pas miniaturisables. Si cela nous protège d'enregistrements furtifs de nos pensées, cela complique aussi les usages à destination des personnes paralysées.

Face à ces questionnements sur d'éventuels usages néfastes des décodeurs de cerveau, Alexander Huth estime que « notre devoir éthique en tant que scientifiques est de continuer à repousser les frontières, de manière ouverte et publique, afin que les succès et les échecs des techniques que nous développons puissent être utilisés pour éclairer les politiques ». En attendant, Meta et consorts disposent déjà d'algorithmes bien plus simples pour savoir ce qui nous passe par la tête : il leur suffit d'analyser nos comportements en ligne.

[Isaac]

Merci Hastings.

C'est toujours ubuesque de lire que des recherches scientifiques sont poursuivies pour développer des outils "pour lesquels une charte éthique sera nécessaire".

[Hastings]

Sur le principe, oui effectivement. Mais en pratique... L'appât est tellement gros.

[ajacques]

Hastings je t'aime.

[Magenta]

Mais je t'en prie Xavi !

[ajacques]

Merci Hastings.

C'est toujours ubuesque de lire que des recherches scientifiques sont poursuivies pour développer des outils "pour lesquels une charte éthique sera nécessaire".

Je suis d'accord avec toi (t'as vu ?) mais on peut difficilement blâmer les scientifiques. C'est au politique de mettre des barrières éthiques. Et comme il est dit dans l'article, les applications médicales pourraient être assez grandioses (paralysés, victimes d'AVC ...).