.

En mayo del año pasado mencionaba NSynth, un proyecto de síntesis de audio utilizando Magenta con un modelo basado en WaveNet. En esencia, es un algoritmo de aprendizaje automático que utiliza redes neuronales profundas para aprender las características de sonidos y después crear un sonido nuevo basado en ellas.

Me entero ahora que el mes pasado presentaron un instrumento basado en esta tecnología, denominado NSynth Super:

Es un instrumento experimental de código abierto [, creado en colaboración con Google Creative Lab,] que permite […] hacer música utilizando sonidos completamente nuevos generados con el algoritmo NSynth a partir de cuatro sonidos originales disintos.

Prototipo de NSynth Super.

Lo más interesante es que todo el código fuente, los esquemas y las plantillas de diseño están disponibles en GitHub.

[El] repositorio contiene todas las instrucciones y ficheros requeridos para construir un instrumento Open NSynth Super desde cero, y puedes usarlas para hacer tu propia versión. Cualquiera puede hacer un fork del código y los esquemas para remezclar el instrumento de cualquier manera que desee.

Partes de un NSynth Super.

Aunque el invento en sí me ha llamado la atención lo primero que me ha venido a la cabeza tras verlo es Open Stomp, un pedal de código abierto cuya web ahora sólo se puede ver en la Wayback Machine, y del que dejé una reseña por aquí hace casi diez años.

.

La semana pasada hablaba de un sintetizador neuronal paramétrico de canto y ahora me topo con NSynth, un proyecto de síntesis de audio utilizando Magenta con un modelo basado en WaveNet:

Uno de los objetivos de Magenta es aplicar aprendizaje automático al desarrollo de nuevas formas de expresión humana. Así que hoy estamos orgullosos de anunciar NSynth (Neural Synthesizer), una aproximación novedosa a la síntesis de música diseñada para asistir en el proceso creativo.

A diferencia de sintetizadores tradicionales que generan audio a partir de componentes hechos a mano, como osciladores y tables de ondas, NSynth utiliza redes neuronales profundas para generar sonidos al nivel de muestras individuales. Aprendiendo directamente de los datos, NSynth ofrece a los artistas un control intuitivo sobre el timbre y la dinámica, y la habilidad de explorar nuevos sonidos que sería difícil o imposible de producir con un sintetizador afinado a mano.

Las cualidades acústicas del instrumento aprendido dependen tanto del modelo usado como los datos de entrenamiento disponibles, así que estamos encantados de publicar mejoras de ambos:

Un descripción completa del conjunto de datos y el algoritmo se puede encontrar en nuestra publicación en arXiv.

Visión general del autocodificador WaveNet de NSynth

Aunque no he tenido oportunidad de cacharrear con TensorFlow no es la primera vez que aparece Magenta por aquí: hace unos meses mencionaba unos experimentos musicales con inteligencia artificial que me tentaban a echar un ojo a las herramientas de aprendizaje automático que utilizan. De momento me lo apunto como otra referencia.