Распознавание пиков в Performous code

Question

Я искал возможности распознавания голоса в iphone с использованием метода HPS. Но обнаруженные тоны не очень точны. Performous делает приличную работу определения высоты тона.

Я просмотрел код, но я не полностью понял теорию расчетов. Они используют БПФ и находят пики. Но часть, в которой они используют фазу выхода FFT, заставила меня запутать. Я полагаю, что они используют некоторые эвристики для частот голоса.

Итак, может ли кто-нибудь объяснить алгоритм, используемый в Performous для определения высоты тона?

Answer 1

[Performous] [1] извлекает шаг из микрофона. Также код является открытым исходным кодом. Вот описание того, что делает алгоритм, от парня, который его закодировал (Tronic on irc.freenode.net # performous).

• входного ИКМ (с буферизацией)
• FFT (1024 выборки за один раз, удалить 200 образцов из передней части буфера после этого)
• методом назначений (по сравнению с предыдущим FFT, который был 200 образцов ранее)
• Фильтрация пиков (эта часть может быть сделана намного лучше или даже опущена)
• Объединения пиков в наборы гармоник (будешь называть комбинации тон)
• временной фильтрацией тонов (обновления набора тонов Detect ред ранее, вместо того чтобы просто использовать недавно обнаруженные те)
• выбрать лучший вокальный тон (пределы частот, взвешивание, может использовать гармонический массив также, но я не думаю, что мы делаем)

Я до сих пор WASN» используя эту информацию, чтобы понять ее и реализовать. Если кто-нибудь управляет этим, пожалуйста, разместите здесь свои результаты и прокомментируйте этот ответ, чтобы SO уведомил меня.

Задача заключалась бы в создании минимальной оболочки C++ вокруг этого кода.