Videojuego GPL en la línea del Freats on Fire que permite analizar cualquier canción en formato audio digital, extraer el ritmo y transformarlo en una secuencia de notas de complejidad variable para una interfaz tipo Guitar Hero.

1. INTERFAZ GRÁFICO DE USUARIO CON
CONTROL TÁCTIL PARA JUEGOS
MUSICALES MULTIJUGADOR GPL
Realizado por: José Jaime Ariza
Dirigido por: Cristina Urdiales García
Departamento de Tecnología Electrónica
Universidad de Málaga

2. 2
ÍNDICE
● Introducción y objetivos
● Estructura
● Canción a interpretar
● Interfaces de entrada
● Pruebas y resultados
● Conclusiones y líneas futuras

3. 3
Videojuegos de ritmo
La música,
protagonista de
videojuegos.

4. 4
Canciones disponibles
Catálogo
reducido
Centradas en
jugabilidad
Añadir
propias
Contenido
más musical
Dificultad
para añadir
propias
Adición
automatizada

5. 5
Interfaces disponibles

6. 6
Objetivos del PFC
● Flexibilizar y automatizar la incorporación
de canciones.
● Utilizar las interfaces existentes como
imitación de instrumentos musicales.
● Verificación de la ejecución de las
canciones.

7. 7
Fuentes de sonido
● Dos fuentes de sonido: MIDI y MP3.
● MIDI, sonido no sintetizado.
 Representación digital de una partitura.
 Almacenable en archivos SMF.
 Verificación.
● MP3, sonido digitalizado.
 Respaldo sonoro.

8. 8
ÍNDICE
● Introducción y objetivos
● Estructura
● Canción a interpretar
● Interfaces de entrada
● Pruebas y resultados
● Conclusiones y líneas futuras

9. 9
Descripción funcional
MP3 MIDI Mandos
Obtención
de notas
Traslación
a notas
Evaluación
GUI
Generador
de efectos
Audio
Tiempo
Notas
Resultados

10. 10
Descripción arquitectónica
Audiotask GUItask Inputtask
Intelitask

11. 11
Máquina de estados
SelDif
Juego
Resultado
SelSong
Postmenú
Inicio
Acerca
Presentación
Configuración

12. 12
ÍNDICE
● Introducción y objetivos
● Estructura
● Canción a interpretar
● Interfaces de entrada
● Pruebas y resultados
● Conclusiones y líneas futuras

13. 13
Origen de la canción
SMF Partitura Audio
OMR Procesado
MIDI
Recorte
Secuencia de juego
Procesado
Pseudonotas
SMF
MIDI
Recorte
Secuencia de juego

14. 14
Extracción de pseudonotas
● Método basado en moda.
 Recuento de notas y selección de las más habituales.
 Considerando la octava o sin considerarla.
 Distinto número de notas según dificultad.
● Método basado en tonalidad.
 Extracción de tonalidad y formación de acordes.
 Distintos acordes (número de notas) según dificultad.

15. 15
Extracción de tonalidad
● Especificada por el jugador.
● De la armadura especificada en MIDI.
● Mediante análisis probabilístico y perceptual.
 Método de Krumhansl-Schmuckler: obtener el perfil de la
pieza y correlacionar con un patrón.
 Método de Temperley, modificación del anterior
considerando modulaciones.

16. 16
Pseudonotas extraídas

17. 17
Sincronización
● MP3 y MIDI deben usarse simultáneamente
● MP3 se reproduce, MIDI se consulta.
 MP3 actúa como reloj maestro.
● Necesidad de precisión en la medida.
● MP3 y MIDI no tienen por qué ser iguales.
 Ajuste lineal de tiempo: tmidi=ab∗tmp3

18. 18
ÍNDICE
● Introducción y objetivos
● Estructura
● Canción a interpretar
● Interfaces de entrada
● Pruebas y resultados
● Conclusiones y líneas futuras

19. 19
Interfaces de entrada
● Obtener notas.
● MIDI usa dos eventos para notas:
● NOTE ON, nota, velocidad.
● NOTE OFF, nota, velocidad.
● Conseguir eventos binarios.

20. 20
Interfaces de entrada (2)
● Teclado: teclas.
● Ratón: botones y movimiento.
● Wiimote: botones y acelerómetro.
● Nunchuk: botones, acelerómetro y joystick.
● Guitarra de GH3: botones, acelerómetro,
joystick, barra (Whammy bar).

21. 21
Homogeneización de eventos
● Tres tipos de elementos:
 Teclas y botones, ya son binarios.
 Acelerómetros, binarizables.
 Control continuo:
 Posición y joystick, uso complejos.
 Whammy bar, ya tiene un significado.

22. 22
Binarización de acelerómetros
● Ofrecen X, Y y Z. Extraíble cabeceo y alabeo.
● Sólo movimientos bruscos.
● Espurios y oscilaciones.

23. 23
Configuración de instrumentos
● Instrumentos de accionador global y de
accionador local.
● Combinación de cuatro tipo de accionadores:
 Inactivo.
 Activo global.
 Activo local.
 Sin uso.
● Cada accionador tiene una nota asignada.

24. 24
Ejemplo de configuración
Activo
local
Activo
local Activo
local
Activo
local
Activo
local
Pseudonota 5
(naranja)
Pseudonota 2
(roja)
Pseudonota 3
(amarilla)
Pseudonota 4
(azul)
Pseudonota 1
(verde)

25. 25
Ejemplo de configuración (2)
Pseudonota 5
(naranja)
Pseudonota 4
(azul) Pseudonota 3
(amarilla)
Pseudonota 2
(roja)
Pseudonota 1
(verde)
Sin uso
Activo
local
Activo
local
Activo
local Activo
local Activo
local
Activo
global Inactivo
Inactivo
Inactivo
Inactivo
Inactivo

26. 26
ÍNDICE
● Introducción y objetivos
● Estructura
● Canción a interpretar
● Interfaces de entrada
● Pruebas y resultados
● Conclusiones y líneas futuras

27. 27
Reglas
Reglas básicas:
1) Cada nota debe pulsarse y mantenerse
cuanto dure.
2) Se debe pulsar o soltar dentro de las
marcas, la precisión es relevante.
3) Una nota no iniciada correctamente se
pierde.
Modos de juego:
● Solitario.
● Dos jugadores: Colaborativo/Competitivo.
0 puntos
10 puntos
0 puntos

28. 28
Prueba de instrumentos
● Valoración subjetiva de la calidad de los
instrumentos imitados.
● Guitarra, piano y tambor.
● Recogida de opiniones mediante formulario.
 Datos del voluntario.
 Comodidad de las posturas.
 Facilidad para iniciar las notas.
 Facilidad para finalizar las notas.
 Facilidad global de uso.

29. 29
Vídeo, prueba rítmica

30. 30
Opiniones sobre instrumentos
Grupos de voluntarios Guitarra Piano Tambor
Formación
musical
Guitarrista 4,00 3,33 3,83
Percusionista 2,75 5,00 4,50
Pianista 3,25 4,75 4,25
No músico 3,33 3,92 3,92
Experiencia
en juego
Jugador 3,81 4,13 4,25
No jugador 3,19 3,75 3,75
Combinación
de
experiencia y
formación
Mús., no jug. 3,38 3,75 3,75
Mús., jug. 3,75 4,08 4,25
Guit., no jug. 3,50 2,75 3,25
Guit., jug 4,25 3,63 4,13
No mús., no jug. 3,00 3,75 3,75
No mús., jug. 4,00 4,25 4,25
Media 3,50 3,94 4,00

31. 31
Ejecución completa
● Valoración objetiva de la ejecución de varias
canciones con varios instrumentos.
 Aciertos.
 Precisión al ejecutar.
● Trozo de pieza de Stephano di Britto.
 Piano.
● Trozo del bajo de Sweet Child o' Mine.
 Piano y guitarra.

32. 32
Vídeo, Sweet Child o' Mine

33. 33
Pieza de di Britto a
piano
Sweet Child o' Mine a
piano
Sweet Child o' Mine a
guitarra
Grupo A.C. M.A. A.T. A.C. M.A. A.T. A.C. M.A. A.T.
Guitarrista 16,7% 58,3% 75,0% 33,3% 35,8% 69,1% 6,2% 53,1% 59,3%
Pianista 57,3% 27,1% 84,4% 43,8% 38,3% 82,1% 11,7% 62,4% 74,1%
No músico 32,8% 45,3% 78,1% 30,6% 36,1% 66,7% 13,9% 44,4% 58,3%
Jugador 47,9% 41,0% 88,9% 41,2% 37,5% 78,6% 23,9% 55,1% 79,0%
No jugador 27,1% 45,8% 70,8% 37,0% 40,1% 77,2% 1,2% 55,6% 56,8%
Media 34,9% 44,0% 78,9% 33,0% 34,6% 67,6% 11,4% 51,1% 62,5%
Resultados de la ejecución

34. 34
Resultados de la ejecución (2)
Jugador A B C D E F G H
Experiencia en juego Si No Si No No No No Si
Formación musical Guitarra No No Guitarra No No Piano Piano

35. 35
ÍNDICE
● Introducción y objetivos
● Estructura
● Canción a interpretar
● Interfaces de entrada
● Pruebas y resultados
● Conclusiones y líneas futuras

36. 36
Conclusiones
● MIDI es un soporte excelente de partituras.
● El Wiimote y sus extensiones son buenas
interfaces para imitación de instrumentos.
● El paradigma propuesto para la configuración
de instrumentos es bueno.
● El software desarrollado actúa como juego
rítmico.

37. 37
Líneas futuras
● Mejora del feedback.
● Más elementos como interfaz de entrada.
 Extensiones del Wiimote.
 Maniobras complejas.
 Micrófono.
 Instrumentos con interfaz MIDI.
● Evaluación de ejecución más completa.
 Considerar velocidad o agrupación de notas.
 Modo de juego con todas las notas.
● Juego por red.

38. INTERFAZ GRÁFICO DE USUARIO CON
CONTROL TÁCTIL PARA JUEGOS
MUSICALES MULTIJUGADOR GPL
Realizado por: José Jaime Ariza
Dirigido por: Cristina Urdiales García
Departamento de Tecnología Electrónica
Universidad de Málaga

39. 39
● Especificación.
● Transmisión serie a 31250 baudios entre
controladores y receptores.
● 16 canales.
● Mensajes
 De canal y de sistema.
● Extensiones.
 SMF = MIDI + Metadatos.
MIDI

40. 40
Mensajes de canal
Mensaje Bytes de estado 1er
byte de datos 2º byte de datos
Note Off 1000ccc 0nnnnnnn 0vvvvvvv
Note on 1001ccc 0nnnnnnn 0vvvvvvv
Postpulsación polifónica 1010ccc 0nnnnnnn 0ppppppp
Cambio de control 1011ccc 0rrrrrrr 0ggggggg
Cambio de programa 1100ccc 0mmmmmmm
Postpulsación monofónica 1101ccc 0ppppppp
Cambio de altura 1110ccc 0hhhhhhh 0lllllll

41. 41
Estructura gráfica
Traste
NodoMensajePuntos0NodoMensajeFPS NodoMensajePuntos1 NodoMensajeTiempo
MensajeFPS MensajePuntos0 MensajePuntos1 MensajeTiempo
Inclinado
Trastenode1 Trastenode2

42. 42
Estructura gráfica (2)
Trastenode1
cuerdaent1_0 cuerdaent1_4
Planotraste1
referencia-inf-1
referencia-sup-1 referencia-1
BOLA_0_idnota BOLA_0_idnota
COLA_0_idnota COLA_0_idnota