Алгоритмы распознавания звука барабана

Question

Я собираюсь сделать программу, которая будет автоматически создавать барабанные вкладки, используя аудиофайл, содержащий только барабан.

Я подумал о том, чтобы использовать FFT для получения средних пиков спектра во время интервала xxxx ms, а затем сравнить это с таблицей, содержащей все части барабана (ловушки, гробницы, базовый барабан и так далее) этого конкретного набора ударных и звук механизм.

Но у меня такое чувство, что все будет не так просто. Есть ли у вас какие-либо предложения о том, какие методы я могу использовать для решения моей проблемы?

// Эрик

Answer 1

Это не просто ни за что, кроме тривиального сигнала. Почти вся западная «классическая» и коммерческая музыка имеет совпадающие звуки барабанов.

1: Суперпозиция: исходные источники объединяются аналогичным образом в частотной области, как и во временной области. Каждый бит БПФ содержит вклады от всех инструментов, которые в настоящее время играют (и те, которые незатухают и все еще разлагаются, или резонируют сочувственно). Разрывать различные источники сложно - и, конечно же, не сравнение с библиотекой спектров.

2: БПФ по его определению окна аудио во временной области и дает величину и фазу базовой функции в каждом бункере за этот период периода. Лучшее, что вы могли бы сказать, это то, что контент появился в корзине, соответствующем звуку барабана в течение периода окна. Если вы хотите вычислить БПФ с разрешением 1024 точки, продолжительность окна составит 23 мс при 44,1 кГц. Чтобы представить это в музыкальной перспективе, 16-я нота в 120bpm составляет 31.3 мс друг от друга. Вы можете уйти с меньшими БПФ.

3: Сигналы ударных инструментов имеют тенденцию сильно напоминать шум - по крайней мере, в момент удара инструмента. Иными словами, будет распространяться энергия по всему спектру и без явно доминирующих частот. После удара настроенная перкуссия начинает выглядеть более «тональной».

Вероятно, вам нужно взглянуть на подход во временной области, чтобы точно определить начальную точку (обнаружение начала). Оттуда вы можете посмотреть временные или частотные характеристики сигнала, чтобы попытаться вывести данный инструмент. Вероятно, вы также можете многое узнать о знании жанра воспроизводимой музыки, позволяя предсказать шаблоны, которые могут присутствовать.

Это конкретный случай более обобщенного разъема источника звука. В этой области было много академической деятельности, и, следовательно, появилось множество опубликованных работ, описывающих подходы. Ищите разделения исходного, поиск информации музыки, аудио функции обнаружения