сравнение звука с R

Question

Я работаю над проектом, где моя задача связана с речевым/аудио/голосовым сравнением. Этот проект используется для оценки победителя в соревнованиях (мимика). Практически мне нужно записать речь/голос пользователя и сравнить его с оригинальным аудио-файлом и вернуть процентное совпадение. Мне нужно развить это на R-языке.

Я уже пробовал связанные с голосованием пакеты в R (tuneR, audio, seewave), но в моем поиске я не могу получить информацию, связанную с сравнением.

Мне нужна помощь от вас, ребята, где я могу найти информацию, связанную с моей работой, и это лучший способ справиться с такими проблемами, и если есть какие-то предпосылки для обработки этих типов аудиосвязи Работа.

Answer 1

• В принципе, лучшие функции, используемые для сравнения речи и голоса, - это MFCC.

Есть некоторые программные обеспечения, которые могут быть использованы для извлечения этих коэффициентов: Praat website
Вы также можете попытаться найти LIB для извлечения этих коэффициентов.
[Изменить: Я нашел в tuneR documentation, что она имеет функцию для извлечения MFCC - поиск функции melfcc()]

• После вы извлекли эти функции, вы можете использовать Machine Learning (SVM, RandomForests или что-то подобное) для разработки классификатора.

У меня есть семинар, который я представил о системах распознавания громкоговорителей, взгляните на него, это может быть полезно. (Seminar)

Если у вас есть время и интерес, вы можете Algo прочитать:
Authors: Kinnunen, T., & Li, H. (2010)
Paper: an overview of text-independent speaker recognition: From features to supervectors

После получения вектора признаков для каждого аудио образца (с MFCC и/или другими функциями), то вы» должно будет сравнивать пары векторов признаков (Особенности от АпротивОсобенности от B):
Вы могли бы попытаться использовать абсолютную разницу между этим отличать в ctors:

• абс (функция вектора из A - вектора признаков из В)

В результате вышеописанной операции является функция вектора, где каждый элемент> = 0 и имеет тот же размер вектор-функции A (или B).

Вы можете также проверить поэлементное умножение между функциями А и В:

• (A1 * B1, A2 * B2, ..., * Bn)

Затем вам необходимо маркировать каждый вектор признаков
(1, если человек A == B человек и 0, если человек А! = Человек B).

Обычно абсолютная разница работает лучше, чем вектор признаков умножения, но вы можете добавить оба вектор и тестирование производительности классификатора с использованием как абса дифф и умножения функции одновременно.