.

Hace más de once años mencionaba a Melodyne, un software que permitía editar notas individuales dentro de acordes o audio polifónico. Nunca intenté averiguar exáctamente cómo funcionaba, ni siquiera si dicha información ha estado disponible en algún momento. Se trata de software propietario y, por lo tanto, es bastante probable que su funcionamiento esté oculto. Si me equivoco que me corrijan, por favor.

Todo esto viene a cuento de uno de los enlaces que vi este fin de semana en Hacker News, apuntando a repositorio de GitHub de Spleeter. De ahí sale la siguiente descripción:

Spleeter es la biblioteca de Deezer para separación de señales con modelos escritos en Python y [que] usa Tensorflow. Facilita el entrenamiento de modelos de separación de señales (asumiendo que tiene un conjunto de datos de fuentes aisladas) y proporciona un modelo de última generación ya entrenado para realizar varios estilos de separación:

  • Separación de voces (voz cantada) / acompañamiento (2 derivadas).
  • Separación de voces / percusión /bajo / otros (4 derivadas).
  • Separación de voces / percusión / bajo / piano / otros (5 derivadas).

Los modelos de 2 derivadas y 4 derivadas tienen rendimientos de última generación sobre el conjunto de datos musdb. Spleeter también es muy rápido, ya que puede realizar la separación de ficheros de audio 100 veces más rápido que en tiempo real cuando se ejecuta en una GPU.

Logotipo de Spleeter.

Más allá de la utilidad de esta herramienta, es interesante conocer la razón de publicarla según el equipo que la ha desarrollado:

Una de las limitaciones difíciles que se encuentran los investigadores de MIR [N. del T.: siglas en inglés de Recuperación de Información Musical] es la falta de conjuntos de datos a disposición pública, por motivos de derechos de autor. Aquí, en Deezer, tenemos acceso a un catálogo bastante amplio que hemos estado aprovechando para construir Spleeter. Dado que no podemos compartir estos datos, convertirlos en una herramienta accesible es una manera con la que podemos hacer que nuestra investigación sea reproducible por todo el mundo. Desde un punto de vista más ético, creemos que no debería haber una competición injusta entre investigadores basada en el acceso a material con derechos de autor, o la falda de este.

Es muy interesante ver como ya hay gente que ha aprovechado esta herramienta para separar pistas de canciones populares para después utilizarlo en re-mezclas, como las pruebas que ha hecho Andy Baio. Veremos que nuevos mashups salen de todo esto.