El documento describe un proyecto para controlar ventanas de Gnome mediante movimientos de la mano detectados por Kinect. El control incluye maximizar, minimizar y mover ventanas. Se usa una red neuronal para clasificar los movimientos como izquierda o derecha basado en coordenadas X de píxeles detectados por Kinect. Processing guarda las coordenadas en un archivo de texto para que Python las use como entrada a la red neuronal.

1. Redes Neuronales
Carlos Triana
Jonathan Alvarado
Esteban Sifuentes
Osvaldo Hinojosa

2. Control de ventanas del SO por
medio de Kinect
Nuestro proyecto trata sobre el control de las
ventanas de Gnome por medio de movimientos
de la mano, los cuales serán interpretados por
Kinect.
El control de las ventanas constará de
maximizar, minimizar, modificar el tamaño de
las ventanas y moverlas de lugar.

3. Pre-procesamiento
La primera etapa que realizamos fue la del pre-
procesamiento.
Nuestro pre-procesamiento consta de obtener
los valores de las coordenadas del movimiento
de la mano o el dedo que detecte Kinect.
Luego de obtener los valores, nosotros solo
mostramos a la entrada de la red los valores
que realmente se necesitan (valor de x1, valor
de x2).

4. Coordenadas pre-procesamiento

5. Clasificar movimiento
Para esta entrega creamos sólo una capa de la
red para con la cual clasificamos si los
movimientos son hacia la izquierda o hacia la
derecha.

6. Como entrada a esta neurona utilizamos un
arreglo con n coordenadas, cada coordenada
consta de un conjunto de coordenadas x,y.
Estas coordenadas x,y son los pixeles en la
imagen que detecta el Kinect. Kinect solo
detecta una imagen de 640 x 480, comenzando
por la esquina superior izquierda y avanzando
hacia la derecha.

7. Para obtener nuestra salida, la cual nos dice si
el movimiento es hacia la izquierda o hacia la
derecha, se compara con el valor 320 ya que
es el valor medio de la ventana.
Por lo tanto si al calcular la sumatoria de las
entradas por los pesos el valor obtenido es
mayor a 320 es un movimiento a la derecha, si
es menor sería clasificado como un movimiento
a la izquierda

8. Desde python mandamos llamar al programa
en Processing, luego después que se realiza el
movimiento con la mano, processing nos
guarda todas coordenadas de los movimientos
en un txt, de manera que cuando termina la
ejecución del .pde, python entra a ese .txt y los
valores de cada salto de línea los pone en un
vector de n = 2.

9. Al final se forman los vectores de entrada con
esas coordenadas generadas por processing, y
se compara con un valor que nosotros
definimos como constante que es la
coordenada central de x de los límites de los
pixeles en el eje x del kinect.