Crédits: gallantlabucb le 21 sept. 2011 The left clip is a segment of a Hollywood movie trailed that the subject viewed while in the magnet. The right clip shows the reconstruction of this segment from brain activity measured using fMRI. The procedure is as follows:
[1] Record brain activity while the subject watches several hours of movie trailers.
[2] Build dictionaries to translate between the shapes, edges and motion in the movies and measured brain activity. A separate dictionary is constructed for each of the 30,000 points in the brain at which brain activity was measured.
[3] Record brain activity to a new set of movie trailers that will be used to test the quality of the dictionaries.
[4] Put the new movie trailers through the dictionaries to generate predictions of brain activity, and compare the predicted brain activity to the measured brain activity. Save the dictionaries that provide good predictions and discard the rest.
[5] Build a random library of 18,000 seconds of video downloaded at random from YouTube. Put each of these clips through the dictionaries to generate predictions of brain activity. Select the 100 clips whose predicted activity is most similar to the observed brain activity. Average those clips together. This is the reconstruction.
For a related video see: http://www.youtube.com/watch?v=KMA23JJ1M1o
For the paper (Nishimoto et al., 2011, Current Biology) go to:http://dx.doi.org/10.1016/j.cub.2011.08.031
For more information about this work, please check our lab web site:http://gallantlab.org
"Lire les images dans notre cerveau" - pas encore au point mais avec des passoires ...
Encore un petit pas de plus vers le cyberpunk ... merci Slash pour le lien =)
Bon à savoir que pour le moment, l'ordinateur doit SAVOIR ce que le sujet regarde pour arriver à "décoder" l'image ...
Source:
sciencedaily.com
La vidéo des "ce que voit la personne et ce qui est reconstitué par capteur/ordinateur" est plus bas. Le labo de l'Université de Berkeley: http://gallantlab.org/
Ça me fait repenser à des questions que je me posais sur la mémoire et "comment" chaque personne voyait les choses ? Qu'est ce qui me dit que toi qui me lit, enfin si quelqu'un me lit, tu vois les choses "de la même couleur que moi" ?
Ou par extrapolation schizophrène: on pourrait imaginer que les formes ne soient pas les mêmes dans ce que voit 2 personnes !
Ou aussi des questions sur "est ce que ce que l'on voit est influencé par notre mémoire et son optimisation" ? Genre pourquoi pas : notre cerveau stocke des "formes informes" et l'information c'est une chaise ou LA chaise de mamie. Ou pour un homme, c'est un homme qui est allé de là à là en disant "çà" et c'est Dark Vador. Et que ce n'est qu'au moment de la "lecture" que le tout est reconstitué ...
Et j'en passe.
Bon je divague ... ou pas ;) La vidéo: