Jazz Solo Instrument Classification with Convolutional Neural Networks, Source Separation, and Transfer Learning / Clasificación de Instrumentos de Jazz con Redes Neuronales Convolucionales, Separación de Fuentes Sonoras y Transferencia de Aprendizaje
Predominant instrument recognition in ensemble recordings remains a challenging task, particularly if closely-related instruments such as alto and tenor saxophone need to be distinguished.
In this paper, we build upon a recently-proposed instrument recognition algorithm based on a hybrid deep neural network: a combination of convolutional and fully connected layers for learning characteristic spectral-temporal patterns.
We systematically evaluate harmonic/percussive and solo/accompaniment source separation algorithms as pre-processing steps to reduce the overlap among multiple instruments prior to the instrument recognition step.
For the particular use-case of solo instrument recognition in jazz ensemble recordings, we further apply transfer learning techniques to fine-tune a previously trained instrument recognition model for classifying six jazz solo instruments.
Our results indicate that both source separation as pre-processing step as well as transfer learning clearly improve recognition performance, especially for smaller subsets of highly similar instruments.
El reconocimiento de instrumentos musicales predominantes en piezas musicales de ensamble continúa siendo un desafío, particularmente con instrumentos altamente relacionados como saxofones soprano, tenor y alto.
En este artículo, construimos a partir de un algorítmo de reconocimiento de instrumentos recientemente propuesto, el cual está basado en una red neuronal profunda: una combinación de capas convolucionales y completamente conectadas para el aprendizaje de patrones característicos espectro-temporales.
Evaluamos sistemáticamente el uso de separación sonora armónica/percusiva y solo/acompañamiento como pasos de preprocesamiento para reducir el sobrelapamiento de instrumentos previo al paso de reconocimiento de instrumentos.
Para el caso de uso de reconocimiento de instrumentos solistas en grabaciones en bloque de jazz, aplicamos técnicas de transferencia de aprendizaje para afinar un modelo de reconocimiento de instrumentos previamente entrenado para clasificar seis instrumentos solistas.
Nuestros resultados indican que tanto el paso de preprocesamiento de separación sonora, como el uso de transferencia de aprendizaje mejoran significativamente el desempeño de la clasificación, especialmente para pequeños conjuntos de instrumentos altamente similares.
Citación recomendada (normas APA)
Juan Sebastián; Abesser Gómez Cañón, "Jazz Solo Instrument Classification with Convolutional Neural Networks, Source Separation, and Transfer Learning / Clasificación de Instrumentos de Jazz con Redes Neuronales Convolucionales, Separación de Fuentes Sonoras y Transferencia de Aprendizaje", Ilmenau (Alemania):-, 2018. Consultado en línea en la Biblioteca Digital de Bogotá (https://www.bibliotecadigitaldebogota.gov.co/resources/2089842/), el día 2025-05-20.
¡Disfruta más de la BDB!
Explora contenidos digitales de forma gratuita, crea tus propias colecciones, colabora y comparte con otros.
Selecciona las Colecciones en las que vas a añadir el contenido
Para consultar los contenidos añadidos busca la opción
Tus colecciones en el menú principal o en
Mi perfil.
Mis colecciones
Cargando colecciones
Compartir este contenido
Jazz Solo Instrument Classification with Convolutional Neural Networks, Source Separation, and Transfer Learning / Clasificación de Instrumentos de Jazz con Redes Neuronales Convolucionales, Separación de Fuentes Sonoras y Transferencia de Aprendizaje
