Este documento presenta Magenta, un proyecto de Google Brain para la generación musical mediante redes neuronales. Explica conceptos básicos de música y diferentes enfoques para la generación musical, incluyendo sistemas basados en reglas, estocásticos y aprendizaje automático. Luego describe varios modelos de Magenta para generar melodías, polifonía y síntesis, usando representaciones como MIDI y arquitecturas como LSTMs, CNNs y VAEs.

1. ARTIFICIAL CREATIVITY:
Generación musical con redes neuronales en
Magenta
1

2. About Me
Gonzalo Estrán Buyo, student and AI researcher at UPM
@sigmoider
➔ CS + Math student at Universidad
Politécnica de Madrid.
➔ Deep Learning and Computational
Linguistics research.
➔ I studied piano at the Professional
Conservatory for ten years.
➔ Experience in music composition
and free play.
2
gonesbuyo
turingnianos.
github.io

3. Índice
1
2
3
4
Música
Tecnología
Enfoques
Magenta
3

4. “Si un árbol cae en un bosque y nadie
está cerca para oírlo, ¿hace algún
sonido?”
George Berkeley
4

5. Música
“La música es sonido organizado”
Varèse
1
5

6. Conceptos básicos
● Tono: sonido musical diferenciado, se escribe como una nota.
Las notas se agrupan en compases.
● Ritmo: duración de una serie de notas. El tempo es el global.
● Timbre: la diferencia entre un instrumento y otros cuando
tocan la misma nota. Es como un “color tonal”.
6

7. Conceptos básicos
● Tonalidad: orden de importancia entre los tonos de una pieza.
● Melodía: tema principal de la pieza, lo que siempre se pega.
● Armonía: fondo musical en el que se apoya la melodía.
Do
M
Re
M
Do
m
7

8. Tecnología
“You can't really imagine music without technology”
Brian Eno
2
8

9. Música y Tecnología
● Los instrumentos musicales son tecnología: medios, no fines
● La base del arte es la creatividad
● La creatividad no se basa en el azar:
CONOCIMIENTO + INTENCIÓN + INTUICIÓN
Información Contexto
Predicción y
Experiencia
9

10. Enfoques
“You don't understand anything until you learn
it more than one way.”
Marvin Minsky
3
10

11. Sistemas de generación
Sistemas basados en
reglas
Sistemas estocásticos
Sistemas de aprendizaje
automático
11
1
2
3
Aplicando condiciones a diferentes aspectos
(ritmo, tono, duración, intensidad).
Tratando las transiciones mediante estados con
una probabilidad y cierta aleatoriedad.
Haciendo uso de algoritmos que aprenden en
base a una información para realizar inferencias.

12. Los inicios: Hiller
12
Lejaren Hiller
Illiac Suite (1957)
Sistemas basados en reglas
Cadenas de Markov
(sistemas estocásticos)

13. Los inicios: Xenakis
13
Iannis Xenakis
Formalized Music (1963)
Metastasis (1955)
Sistemas estocásticos
Analogique A (1958)
Cadenas de Markov

14. David Cope: EMI
14
David Cope
EMI: Experiments in Musical
Intelligence (1963)
Redes de Transición
(Sistema basado en reglas)

15. Gramáticas generativas
15
Noam Chomsky
Aspects of the Theory of
Syntax (1965):
Gramáticas Generativas
(Sistema mediante reglas)
A Generative Theory of Tonal Music
(1983)
Fred Lerdahl
Ray Jackendoff

16. Algoritmos genéticos y autómatas celulares
Andrew Horner
Genetic Algorithms and
Computer-Assisted Music
Composition (1991)
David E. Goldberg
Algoritmos Genéticos
(Aprendizaje automático)
Peter Beyls
The Musical Universe of
Cellular Automata (1989)
Autómatas Celulares
(Sistema basado en reglas)
16

17. Redes Neuronales
Peter Todd
Music and Connectionism (1991),
Todd et al.
Primeros usos de RNNs
Douglas Eck
A First Look at Music Composition using LSTM
Recurrent Neural Networks (2002)
Primera aplicación de LSTM a música.
Jürgen Schmidhuber
17

18. Estado del arte
18
CNNs (convolucionales: filtros sobre conjuntos)RNNs (recurrentes, sólo con corto plazo)
LSTMs (RNNs con largo y corto plazo) seq2seq (autoencoder: traduce secuencias)

19. Magenta
“In science, one learns the most by studying what
seems to be the least.”
Marvin Minsky
4
19

20. ¿Qué es Magenta?
20
Google Brain
Team
TensorFlow GitHub

21. Dimensiones
OBJETIVO
REPRESENTACIÓN
ARQUITECTURA
21
1
2
3
Tipo de contenido musical (melodía, polifonía,
acompañamiento, melodía con acordes, ...).
Naturaleza de los datos que emplea el modelo
(señal, señal transformada, piano roll, MIDI, texto, …)
Modelo neuronal empleado
(DNN, CNN, RNN, LSTM, VAE, seq2seq, GAN, …)
ESTRATEGIA4
Modo de emplear el modelo para la generación (directa,
reforzada, condicionada, muestreo, adversaria, ...)

22. Modelos (I)
NOMBRE OBJETIVO REPRESENTACIÓN ARQUITECTURA ESTRATEGIA
Melody RNN Basic Melodía MIDI LSTM Directa
Melody RNN Lookback Melodía MIDI LSTM + Lookback Condicionada
Melody RNN Attention Melodía MIDI LSTM + Attention Directa
Improv RNN Basic Melodía MusicXML
LSTM + Chord
Embedding
Condicionada
Improv RNN Attention Melodía MusicXML
LSTM + Attention +
Chord Embedding
Condicionada
Improv RNN Chord
Pitches
Melodía MusicXML
LSTM + 3 Chord
Embeddings
Condicionada
22

23. Modelos (II)
NOMBRE OBJETIVO REPRESENTACIÓN ARQUITECTURA ESTRATEGIA
Polyphony RNN Polifonía MIDI / MusicXML LSTM Directa
RL Tuner Melodía MIDI LSTM + DQN Reforzada
NSynth Síntesis Señal
WaveNet
autoencoder
Generativa
MusicVAE Melodía MIDI VAE (LSTMs) Muestreo
Coconet Polifonía MIDI → Piano roll CNN + Gibbs Muestreo
Pianoroll RNN-NADE Polifonía MIDI → Piano roll LSTM + NADE Muestreo
23

24. 24
Demo time

25. ¡Muchas gracias!
25
@sigmoider
gonesbuyo
turingnianos.
github.io