.

La semana pasada hablaba de un sintetizador neuronal paramétrico de canto y ahora me topo con NSynth, un proyecto de síntesis de audio utilizando Magenta con un modelo basado en WaveNet:

Uno de los objetivos de Magenta es aplicar aprendizaje automático al desarrollo de nuevas formas de expresión humana. Así que hoy estamos orgullosos de anunciar NSynth (Neural Synthesizer), una aproximación novedosa a la síntesis de música diseñada para asistir en el proceso creativo.

A diferencia de sintetizadores tradicionales que generan audio a partir de componentes hechos a mano, como osciladores y tables de ondas, NSynth utiliza redes neuronales profundas para generar sonidos al nivel de muestras individuales. Aprendiendo directamente de los datos, NSynth ofrece a los artistas un control intuitivo sobre el timbre y la dinámica, y la habilidad de explorar nuevos sonidos que sería difícil o imposible de producir con un sintetizador afinado a mano.

Las cualidades acústicas del instrumento aprendido dependen tanto del modelo usado como los datos de entrenamiento disponibles, así que estamos encantados de publicar mejoras de ambos:

Un descripción completa del conjunto de datos y el algoritmo se puede encontrar en nuestra publicación en arXiv.

Visión general del autocodificador WaveNet de NSynth

Aunque no he tenido oportunidad de cacharrear con TensorFlow no es la primera vez que aparece Magenta por aquí: hace unos meses mencionaba unos experimentos musicales con inteligencia artificial que me tentaban a echar un ojo a las herramientas de aprendizaje automático que utilizan. De momento me lo apunto como otra referencia.

.

La semana pasada me pasaron el enlace a Quick, Draw!, una especie de Pictionary donde tu pareja que intenta adivinar lo que estás dibujando es una red neuronal. Como juego es gracioso pero lo que me gustó aún más fue descubrir que forma parte de un grupo de experimentos de inteligencia artificial de Google. De ellos, dos tienen un corte claramente musical.

El primero es The Infinite Drum Machine, una caja de ritmos básica que permite utilizar en tu navegador miles de sonidos cotidianos. La gracia de este experimento reside en que la catalogación y agrupación de sonidos la ha hecho una máquina utilizando un algoritmo de aprendizaje automático t-SNE sobre el audio exclusivamente, sin utilizar etiquetas o cualquier otro tipo de indicaciones.

Los que tengan el tiempo y los conocimientos adecuados pueden explorar el código fuente de The Infinite Drum Machine en GitHub, algo en lo que invertiría el primero de los dos requisitos anteriores (si lo tuviera) para ver si puedo adquirir un poco más del segundo requisito.

Fotograma del vídeo de presentación de The Infinite Drum Machine [01m51s].

El segundo experimento que llamó mi atención fue A.I. Duet, una red neuronal ya entrenada que “responde” a las melodías que pueda crear una persona, creada utilizando Tone.js y herramientas de Magenta. Aunque en este caso todavía no hay una versión web donde jugar con el experimento, se puede explorar código fuente de A.I. Duet en GitHub.

Fotograma del vídeo de presentación de A.I. Duet [02m14s].

Debo admitir una cierta envidia sana al ver estos proyectos. Hace no tanto dejaba por aquí un apunte sobre redes neuronales que componían pistas de batería aprendiendo de Metallica y ya entonces me lamentaba de no tener tiempo para explorar estas materias.