¿Podrían filmarse los sueños?

1. UBACyT
1UBACyT – Grupo de investigación sobre lectura artificial del pensamientof w
SUBGRUPO DE INVESTIGACIÓN: LECTORES ONÍRICOS

2. SISTEMAS DE LECTURA ARTIFICIAL
DE LA MENTE
Programa de investigación en neurociencia cognitiva
orientado a determinar el contenido de estados mentales a
través de decodificar las señales neurales asociadas.
Dentro de este marco, se indaga acerca de la posibilidad
de acceder al contenido de la producción onírica de un
sujeto.

3. Proceso por el cual se consigue acceder al contenido de la producción
de un ser humano mientras duerme, puntualmente el desarrollo en la
etapa Pre-R.E.M. y R.E.M. Estas producciones oníricas pueden adquirir
diferentes modalidades: visual, auditiva, kinestésica o mixta.
Esta temática ha sido desarrollada en numerosas oportunidades por la
inventiva de las más curiosas mentes de la ciencia ficción. En la actualidad
es plausible afirmar que los avances dentro del campo de la
neuropsicología hacen cada vez más tangibles aquel viejo anhelo.
¿Qué entendemos por lectura
onírica?

4. ¿Podrían filmarse los sueños?
Experimento 1: Kamitani, Y. (Kamitani, Y. 2012)
Decodificación neural de imaginería visual de patrones durante la
vigilia.
Experimento 2: Gallant, J. (Nishimoto, S. 2011)
La reconstrucción de las experiencias visuales de la actividad
cerebral evocada por Películas Naturales.
Experimento 3: Kamitani, Y. (Horikawa, T. 2013)
Decodificación neural de imaginería visual durante el sueño.

5. El equipo de kamitani hipotetizó sobre la posibilidad técnica de decodificar y reconstruir
imaginería visual a través de patrones de actividad de neuronas de la corteza.
1. Se mostró a dos participantes 440 imágenes de 10x10 pixeles, de contraste binario (B/N)
durante 12 segundos c/u.
2. Durante la exposición a la imágenes se midieron las respuestas en la corteza visual de los
sujetos mediante el contraste BOLD en un escáner fMRI.
3. A continuación, se subdividieron las imágenes y se volvieron a exponer los patrones de
reconocimiento a cada sujeto (Retest).
4. Luego, se midieron las activaciones en relación a la exposición de dos nuevos tipos de
estímulos, por un lado 5 figuras geométricas varias (abajo); por el otro, tiles
correspondientes a la palabra “Neuron” (Derecha).
5. Por último, se analizó con las mediciones registradas a los sujetos mientras miraban a los
estímulos intercalados con la finalidad de reconstruir aquello que se veía, en un monitor.
EXPERIMENTO 1: Kamitani, Y.
Decodificación neural de imaginería visual durante la vigilia.

6. Ficha técnica:
¿En qué consiste? La resonancia magnética funcional mide la cantidad de
oxígeno en la sangre (BOLD, Blood Oxigenation Level-Dependent) de
zonas concretas del cerebro. Supuestamente un incremento del oxígeno está
relacionado con un incremento de la actividad neuronal en esa parte determinada del
cerebro.
Resolución espacial: 1-10 mm.
Resolución temporal: 1-10 segundos (cuanto mejor la resolución espacial, peor la
resolución temporal).
Ventajas especiales: Ofrece datos sobre estructuras del cerebro que están localizadas
en zonas profundas de éste.
Coste: Los escáneres MRI de última generación cuestan aproximadamente 1 millón de
dólares por Tesla y tienen costes operativos anuales de 100.000$-300.000$.
Fuente: Neuromarketing: the hope and hype of neuroimaging in business.
fMRI (functional magnetic
resonance imaging).

7. 1. Patrones posibles para la reconstrucción en las
dimensiones 10x10 de contraste binario. (2^100)
2. Reconstrucción de patrones observados mediante la
comparativa con la base de patrones.

8. 3. Patrones de contraste en figuras y tiles “neuron” con
sus respectivas reconstrucciones y medias.
4. Concatenación de reconstrucciones para tener una
aproximación visual de los resultados.
Tomamos el experimento de Kamitani como un pre-marco teórico, ya que es el que nos permite un
acercamiento a la posibilidad de observar los patrones de actividades cerebrales obtenidos de las
cortezas, en base a las imágenes utilizadas como estímulo.
“ver lo que otra persona ve, por medios tecnológicos”.

9. EXPERIMENTO 2: GALLANT, J.
La reconstrucción de las experiencias visuales de la actividad cerebral evocada por
Películas Naturales.
A diferencia del experimento 1, el equipo de Jack Gallant pretende ir un poco más allá, intentando acercarse a la
reconstrucción en cuanto a la percepción de movimiento en los registros corticales visuales estimulados naturalmente.
Para esto, 3 sujetos experimentales vieron dentro del resonador partes de videos pre-establecidos. Dentro de estos videos
se encontraban partes de una película y un mix de videos de youtube con motivos varios (desde una gota cayendo hasta elefantes
avanzando por la sabana).
Mientras los sujetos miraban los videos, el fMRI medía las activaciones corticales y un modelo computacional traducía éstas
para hacer un patrón de activaciones al que llamaron “diccionario”; en el cual se destacaron formas, bordes y movimiento.
A posteriori, al diccionario resultante de las mediciones se lo comparaba con una base de datos formada por videos de
youtube buscando “matching” entre las características de éste y las de los videos, para generar predicciones de la actividad
cerebral.
De los 100 videos que más se acercaban a las características del diccionario se sacó un promedio dando el resultado.
Cabe destacar:
● La muestra fue conformada por los propios investigadores debido a que las largas sesiones en el fMRI, que se presentaban
displicentes en cuanto a su larga duración.
● Los videos de la fase de “Test”, fueron diferentes de los del diccionario con los cuales se “matcheó”.

10. 2. Testeo y creación del
diccionario en base a las
mediciones y al algoritmo
1. Entrenamiento.
3. Retest.
4. Análisis y Comparación
con la base de datos.
5. Resultados:

11. Logros:
● Un nuevo modelo movimental podría
describir señales BOLD evocadas por
películas naturales.
● Hay un acercamiento a cómo la información
movimental es representada en las áreas
corticales visuales tempranas.
● El modelo provee de reconstrucciones,
bastante aproximadas de películas
naturales, basado en señales BOLD
evocadas.
Tomamos el experimento del equipo de Gallant como un avance sobre el experimento anterior, aproximándose
aún más al anhelo de ver a través de los ojos de otro. Siendo fundamental el paso a la reconstrucción de
movimiento basado en actividad cerebral de un estímulo natural como lo es una película.
En rojo el video original.
En azul los diferentes tiers de videos utilizados para la
reconstrucción del original en cada sujeto.
En verde el resultado para cada sujeto.

12. EXPERIMENTO 3: Yukiyasu Kamitani
Decodificación de imaginería visual onírica
El equipo de investigadores Hipotetizó que los contenidos de la imaginería visual durante el sueño, están representados al
menos en parte, por patrones de actividad de la corteza visual.
Para probar ésto, entrenaron decodificadores en actividad cerebral para detectar patrones de la corteza visual y se los
“matcheó” a imágenes naturales extraídas de la web (como base de datos)*
Luego, tres personas participaron durmiendo dentro de un resonador magnético, las cuales fueron despertadas cuando un
electroencefalograma señalaba que estaban soñando y se les pidió que dieran un reporte verbal libre describiendo su experiencia
visual antes de despertarse. (este proceso se repitió hasta tener al menos 200 despertares con reporte visual por participante)
De los reportes colectados, las palabras que describieron objetos o escenas fueron manualmente extraídas y mapeadas en
“WordNet”, una base de datos léxica en la cual las palabras semánticamente similares son agrupadas en “Synsets”
(estructura jerárquica). Usando este método, solo agruparon las “palabras visuales” que al menos aparecían en el 5% de los
reportes de cada participante (10 veces).
Los datos obtenidos del fMRI antes de cada despertar fueron etiquetados con un “vector de contenido visual”, cada
elemento del anterior indicó la presencia o ausencia de una jerarquía synset en el reporte subsecuente.
*colectaron imágenes que representan cada synset desde “imageNet”, una base de datos en donde las imágenes están
agrupadas según WordNet, para entrenamiento del decodificador.

13. “sí, bueno, ví una persona. sí, lo que era... era algo parecido a una escena en
la que escondí una llave en un lugar entre una silla y una cama y alguien la
tomó”
Patrón de actividad
fMRI antes de
despertar
Decodificador asistido por
bases de datos imago-
lexicales
Predicción
Los datos fueron adquiridos
de participantes durmientes dentro
de un resonador mientras que
simultáneamente se les
administraba una polisomnografía.
Se los despertó entre las
etapas 1 y 2 (línea roja punteada) y
se les solicitó un reporte verbal de
la experiencia visual durante el
sueño.
Los datos de fMRI previos al
despertar fueron usados como
inputs para los análisis de
decodificación.
Las palabras visuales fueron
extraídas de los reportes y se
comparó con las predicciones
realizadas por los patrones del
fMRi.

14. Logros:
● Los resultados sugieren que hay un sustrato
neural común entre percepción e imaginería.
● Los sueños estarían formados, al menos en
parte, por patrones de activación de la corteza
visual
● Según la lectura del decodificador y el posterior
relato de los soñantes, se pudo hacer
predicciones de estos últimos.
Cabe destacar:
● El estudio se realizó en sueños pre-REM (basado
en evidencia de la existencia de estos), aunque
no descartan que el sistema se pueda aplicar en
sueños REM
Este último experimento es tomado debido a que es el primero que se anima a ver qué es lo que sucede en
los entretelones del sueño. De una manera indirecta busca detectar las bases neurales de la imaginería
onírica y una predicción mediante herramientas tecnológicas actuales.
En el gif se puede ver el resultado de la investigación de forma
gráfica. El video no trata de ser la representación misma de lo que se
sueña sino, una representación semántica y en imágenes del trabajo
predictivo del sistema computacional en comparación con la
explicación del soñante al despertar.

15. EXPERIMENTO IMAGINARIO:
Al hallazgo de restos diurnos durante el sueño
Observación:
● Un experimento imaginario es un instrumento de
investigación teórica cuya finalidad radica en pensar un
espacio de posibilidades para futuros abordajes empíricos
y/o tecnológicos
Objetivo y lógica subyacente:
1. El experimento apunta a bosquejar un posible
mecanismo para hallar restos diurnos presentes en
la imagenìa onírica.
2. La lógica subyacente es simple: si se pueden
encontrar correspondencias entre un conjunto de
imágenes oníricas construidas artificialmente a
través de un dispositivo tecnológico basado en la
traducción de las señales neurales concomitantes a
la percepción vigil de tales imágenes; entonces se
demostarìa (aunque de modo rudimentario) la
viabilidad de de un filmador onírico per se.
3. La hipótesis subyacente sostiene la posible similitud
entre los sustratos neurales visuales de la vigilia y
los sustratos implicados en la imaginería onírica.

16. A un grupo de 10 personas (entre ellas hombres y mujeres),
estudiantes de diferentes carreras, se los expone durante cinco
días (en un horario fijado por la tarde), a imágenes y videos
referidos al tema “Calentamiento Global”, con el propósito de
hacer de estos el posterior contenido onírico.

17. Un sistema de fMRI identifica los patrones neurales asociados a las
diferentes percepciones que tienen los sujetos mientras miran las películas
e imágenes referentes al calentamiento global.

18. Durante cinco noches los sujetos son conectados a un
sistema fMRI portátil que trata de identificar durante el sueño
patrones neurales similares a los encontrados durante la vigilia
(cuando los sujetos eran expuestos a los estímulos)
Esto supone que la neurología subyacente a la actividad
onírica es análoga a la modalidad perceptual en vigilia.

19. Un sistema computacional traduce a formas, colores y movimientos los patrones
neurales encontrados mientras los sujetos duermen y los proyecta en una pantalla
a modo de video.
Se desarrolla un moderno sistema
computacional multidimensional capaz de
caracterizar cada patrón neural registrado en
la vigilia como pasible de constituir un resto
diurno y ser reencontrado en el sueño. De
esta manera se conforma un catálogo de
sustratos neurales. Mediante la utilización de
un algoritmo es posible traducir dichos
parámetros a formas, colores y movimientos,
con lo cual se generan imágenes para luego
ser proyectadas en una pantalla.

20. SE ESPERA QUE LAS IMÁGENES ONÍRICAS DE LOS SUJETOS, GENERADAS POR EL SISTEMA
COMPUTACIONAL TRADUCTOR, RESULTEN ANÁLOGAS A LAS IMÁGENES DE ORIGEN
SE LE SOLICITA A UN GRUPO DE JUECES INDEPENDIENTES QUE EXPLOREN CADA SET A EFECTOS
DE IDENTIFICAR UN PAR DE IMÁGENES QUE SE CORRESPONDAN ENTRE SÍ.
SI LOS JUECES LOGRARAN MATCHEAR LA IMAGEN REALMENTE PERCIBIDA CON LA IMAGEN
REALMENTE PROYECTADA, ENTONCES SE DEMOSTRARÍA QUE EL SISTEMA HA SIDO CAPAZ DE
DECODIFICAR Y PLASMAR UN SUEÑO DIURNO
SE ELABORAN VARIAS SERIES DE DOS SETS DE CINCO IMÁGENES:
EL PRIMER SET CONTIENE UNA DE LAS IMÁGENES EXPUESTAS JUNTO A CUATRO IMÁGENES DISTRACTORAS
EL SEGUNDO SET CONTIENE UNA DE LAS IMÁGENES CONSTRUIDAS POR EL SISTEMA, JUNTO A CUATRO
IMÁGENES DISTRACTORAS

21. Limitaciones teóricas
Habiendo analizado los abordajes empíricos acerca de la temática de los
filmadores oníricos es posible esbozar un análisis crítico cuyo aspecto
principal es la distancia entre la promesa del filmador onírico y los
resultados de los experimentos reales y posibles.

22. Particularidades del fenómeno onírico que comprometen la viabilidad del intento de desarrollar un hipotético
filmador artificial de los sueños:
A nivel fenomenológico:
● En el sueño ocurren fenómenos conceptuales donde el soñante completa las imágenes a través de una
especie de autoengaño “consciente”.
● El soñante es un sujeto percipiente pero también pensante. Tiene creencias, expectativas, intenciones,
etc. acerca de lo que ve, aunque éstas no se despliegan en la imaginería visual proyectada en su
“teatro onírico interior “. El soñante real es un espectador de imágenes que crea en su mente; pero
también es el ojo que ve esa imágenes a las que le agrega información y atribuye un sentido.
● Una de las características inherentes a las imágenes oníricas está dada por su topología distorsiva
respecto de las imágenes de vigilia y por su fantasmagórica propia que la asemeja a un nivel cuasi-
alucinatorio. Esto dificultaría aquellos abordajes orientados a la búsqueda de correspondencias con
imágenes perceptuales de la vigilia.
A nivel tecnológico:
● Hoy por hoy la poca resolución, tanto espacial como temporal de los escáneres impide la captación de
activaciones de reducido espectro en comparación a lo que idealmente se necesitaría para alcanzar una
especificidad óptima.
● Los algoritmos de encriptación y despliegue de las propiedades fenoménicas de las imágenes (formas,
colores, movimiento) acarrean una importante dificultad: no está clara la naturaleza del código neural
que soportaría tales propiedades.

23. Discusión
Los problemas asociados a la teoría de los filmadores oníricos esbozan que si bien
los dispositivos tecnológicos aportan las bases para funcionar como
decodificadores de la actividad cerebral emparentada con la imaginería visual
onírica y las representaciones del resto diurno; las cuestiones a resolver resultan
ostensiblemente mayores que los modestos e imprecisos avances.
?

24. Muchas gracias por su atención

25. Apéndice

26. Apéndice.
RESUMEN DEL EXPERIMENTO.
GRUPO DE 10 PERSONAS
SON EXPUESTAS
DURANTE 5 DIAS A
DIFERENTES ESTÍMULOS
SOBRE EL
CALENTAMIENTO
GLOBAL
UN SISTEMA FMRI
PORTÁTIL REGISTRA
LA ACTIVIDAD
NEURONAL
MIENTRAS ESTOS
RECIBEN DICHOS
ESTÍMULOS.
SE REGISTRAN LOS SUEÑOS DE
LOS SUJETOS DURANTE LOS 5
DIAS: MIENTRAS LOS SUJETOS
DUERMEN SE TRATAN DE
IDENTIFICAR PATRONES DE
ACTIVIDAD CEREBRAL PARECIDOS
A LOS ENCONTRADOS DURANTE
LA VIGILIA.
TRABAJO CON SUEÑOS LÚCIDOS:
LOS SUJETOS BUSCAN EN SUS
SUEÑOS CONTENIDOS SOBRE EL
CALENTAMIENTO GLOBAL,
DESPIERTAN Y LO DESCRIBEN.
SE IDENTIFICA LA
NEUROLOGÍA
SUBYACENTE DE
ESTOS SUEÑOS
LÚCIDOS
SE LA COMPARA CON
LO DESCRITO POR LOS
SUJETOS BUSCANDO
UNA EQUIPARACIÓN.

27. EN UNA SEGUNDA ETAPA DEL EXPERIMENTO SE REALIZA EL
MISMO PROCEDIMIENTO, CON LA DIFERENCIA DE QUE AHORA
SE ENTRENA A LOS SUJETOS PARA QUE TENGAN SUEÑOS
LÚCIDOS.
SUEÑOS LÚCIDOS EN LOS EXPERIMENTOS IMAGINARIOS

28. Se trata de:
1. Identificar la neurología subyacente a las imágenes lúcidas experimentadas
durante el sueño (cuyo significado aparece ahora con mayor precisión a partir
de las descripciones de los sujetos)
2. Correlacionar las señales neurales oníricas con los que corresponden a la
percepción visual en vigilia.

29. SE LES SOLICITA QUE DURANTE EL SUEÑO TRATEN DE ESTAR
ATENTOS A CONTENIDOS REFERENTES AL CALENTAMIENTO GLOBAL
Y QUE CUANDO LOGREN IDENTIFICARLOS TRATEN DE DESPERTARSE
Y DESCRIBIRLOS DE MANERA VERBAL (PARA LO CUAL DISPONEN DE
UN GRABADOR) O DE MANERA GRÁFICA (PARA LO CUAL DISPONEN
DE PAPEL Y LÁPIZ).