.

En alguna ocasión he mencionado mi estima por las composiciones de 近藤浩治 (こんどうこうじ) (traducido y romanizado Kōji Kondō) para Super Mario Bros. Lo que desconocía es que una parte significativa del diseño de estas piezas musicales tiene que ver más con la mecánica que con la estética del juego. Según una de la serie de entrevistas Iwata Asks, en concreto, la realizada con motivo del 25.º aniversario de SMB:

[Satoru] Iwata: Al principio, hiciste la música para coincidir con el aspecto del juego.
[Kōji] Kondō: Eso es. Después, cuando jugué con el prototipo, hice la canción actual.
[…]
Iwata: Quizás el poder jugar con el prototipo tan pronto fue un factor que llevó a esa canción.
Kondō: Eso creo. Aprendí la importancia de tener la posibilidad de jugar con el juego y emparejar la música a sus ritmos.

Algo similar había dicho en una entrevista a Wired en 2007:

WN [Wired News]: ¿Cuál era su objetivo para el tema principal, entonces, si tuvo que reescribirlo una y otra vez?
KK [Kōji Kondō]: De primeras, tenía que encajar lo mejor posible con el juego, realzar la jugabilidad y hacer que se pudiera disfrutar más. Que no esté simplemente ahí y sea algo que suena mientras juegas, si no que de hecho sea parte del juego.
[…]
KK: […] la música está inspirada en los controles del juego y su propósito es el de intensificar la sensación de cómo se controla el juego. […]

Leyendo todo esto en Kotaku me he acordado de un artículo previo del mismo medio, que también señalé por aquí hace unos años, en el que se argumentaba que hay una relación natural entre videojuegos y música. El primer artículo citado trata más bien sobre cómo los jugadores que intentan pasar las distintas entregas de la serie de Super Mario en el menor tiempo posible se ayudan de la banda sonora.

Ambos artículos son igual de interesantes pero lo que han conseguido es que ahora me apetezca echar unas partidas, a ser posible acompañado por una orquesta [06m57s].

Captura de Super Mario Bros. 3 que acompaña al artículo de Kotaku.

.

Tenía marcado para leer cuando tuviese un hueco un artículo de Forrest M. Mims III titulado «Convert Scientific Data into Synthesized Music». En él comenta cómo se ha aficionado a crear composiciones musicales a partir de mediciones científicas, y menciona que utiliza tanto Wolfram Mathematica como una página creada por Jonathan Middleton, un profesor adjunto de teoría y composición en el departamento de música de la Eastern Washington University, llamada MusicAlgorithms. No dispongo del paquete software de Wolfram y en el navegador que suelo usar no tengo Java, por lo que no he sido capaz de producir ningún sonido con MusicAlgorithms.

El señor Mims admite que el uso que le ha dado es bastante simple, ya que sólo ha transformado series de números en música. Lo curioso quizás es conocer el origen de los valores utilizados en estas composiciones. Por ejemplo, en uno de los casos utiliza mediciones de radiación cósmica tomadas en un vuelo entre San Antonio (Texas) y Zúrich (Suiza).

Mediciones de radiación cósmica tomadas en un vuelo entre San Antonio (Texas) y Zúrich (Suiza).

La medición de radiación cósmica captada por un contador Geiger aumenta con la altura. Uno de estos instrumentos da una medida de unas once cuentas por minuto (CPM) en tierra y varios centenares a partir de 10,500 metros.

.

La semana pasada me pasaron el enlace a Quick, Draw!, una especie de Pictionary donde tu pareja que intenta adivinar lo que estás dibujando es una red neuronal. Como juego es gracioso pero lo que me gustó aún más fue descubrir que forma parte de un grupo de experimentos de inteligencia artificial de Google. De ellos, dos tienen un corte claramente musical.

El primero es The Infinite Drum Machine, una caja de ritmos básica que permite utilizar en tu navegador miles de sonidos cotidianos. La gracia de este experimento reside en que la catalogación y agrupación de sonidos la ha hecho una máquina utilizando un algoritmo de aprendizaje automático t-SNE sobre el audio exclusivamente, sin utilizar etiquetas o cualquier otro tipo de indicaciones.

Los que tengan el tiempo y los conocimientos adecuados pueden explorar el código fuente de The Infinite Drum Machine en GitHub, algo en lo que invertiría el primero de los dos requisitos anteriores (si lo tuviera) para ver si puedo adquirir un poco más del segundo requisito.

Fotograma del vídeo de presentación de The Infinite Drum Machine [01m51s].

El segundo experimento que llamó mi atención fue A.I. Duet, una red neuronal ya entrenada que «responde» a las melodías que pueda crear una persona, creada utilizando Tone.js y herramientas de Magenta. Aunque en este caso todavía no hay una versión web donde jugar con el experimento, se puede explorar código fuente de A.I. Duet en GitHub.

Fotograma del vídeo de presentación de A.I. Duet [02m14s].

Debo admitir una cierta envidia sana al ver estos proyectos. Hace no tanto dejaba por aquí un apunte sobre redes neuronales que componían pistas de batería aprendiendo de Metallica y ya entonces me lamentaba de no tener tiempo para explorar estas materias.

.

Hoy se decide la última nota en la melodía de CrowdSound.net, un experimento de composición en masa:

Se está generando una melodía nota a nota, en tiempo real, utilizando el voto popular. […] Esta melodía se convertirá en una canción con una estructura de acordes Do, Sol, La menor, Fa repetida 18 veces. Tendrá una estructura de (Verso / Verso / Coro / Verso / Coro / Conclusión). La canción está a día de hoy en forma de esqueleto.

El resultado del proyecto es curioso, igual que las estadísticas que sacan del proceso, aunque me interesó más ver cómo generaban la partitura con canvas y los sonidos con howler.js. Se puede reproducir la melodía eligiendo con el sonido de qué instrumento se quiere oír, saltar directamente a una parte de la canción y modificar el ritmo de la reproducción.

También resulta curioso, aunque no creo que sea casual, que la progresión armónica utilizada sea la popular I–V–vi–IV. Es casi imposible no oírla a menudo, como señalaron Axis of Awesome, y afianza más mi teoría no verificada ni estudiada (ni siquiera tiene mucho sentido) que su uso debe ser un método para reducir la complejidad de las canciones.

.

Keunwoo Choi es un estudiante del Centro de Música Digital de la Queen Mary, Universidad de Londres. Bajo la tutela del profesor Mark Sandler y el doctor Gyorgy Fazekas ha publicado un texto titulado «Text-based LSTM networks for Automatic Music Composition», disponible en arXiv y que resume en su página web:

RNN de palabras (LSTM) sobre Keras con representaciones textuales empalabradas de ficheros MIDI de la batería de Metallica, provenientes de midiatabase.com.

No es la primera vez que veo el uso de redes neuronales recurrentes para componer música, lo que no quita que me siga pareciendo interesante. Los resultados no son espectaculares pero sí curiosos, y me gustaría tener más tiempo para poder entender mejor cómo se implementa la RNN.

.