«Звуковое» распознавание в Swift?

Question

Я работаю над аппликацией в Swift, и я думал о способе получить Non-Speech распознавание звука в моем проекте.

Я имею в виду способ, которым я могу принимать звуковые входы и сопоставлять их с некоторыми предопределенными звуками, уже включенными в проект, и если происходит совпадение, оно должно предпринять какое-то определенное действие?

Есть ли способ сделать это? Я думаю разбить звуки и делать проверки, но, похоже, не может быть дальше.

Answer 1

Мой личный опыт следует из комментариям мата выше: требует серьезных технических знаний.

Существует несколько способов сделать это, и каждый из них выглядит следующим образом: извлеките некоторые свойства из интересующего звукового сегмента (извлечение аудиофункций) и классифицируйте этот аудио-элемент с каким-то методом машинного обучения. Это обычно требует некоторой фазы обучения, где в технике машинного обучения были приведены некоторые примеры, чтобы узнать, какие звуки вы хотите распознать (ваши предопределенные звуки), чтобы он мог построить модель из этих данных.

Не зная, какие типы звуков Вы стремитесь быть распознан, может быть, наш C/C++ SDK доступен здесь может сделать трюк для вас: http://www.samplesumo.com/percussive-sound-recognition Там есть техническая демо на этой странице вы можете скачать и попробовать с ваши звуки. Это библиотека C/C++, и есть версия для Mac, Windows и iOS, поэтому вы сможете интегрировать ее с помощью приложения Swift на iOS. Может быть, это позволит вам делать то, что вам нужно?

Если вы хотите разработать свою собственную технологию, вы можете начать с поиска и чтения некоторых научных статей, используя ключевые слова «классификация звука», «распознавание звука», «прослушивание аппарата», «классификация аудио-функций»,. ..

Answer 2

Matt,

Мы разрабатываем кучу классных инструментов, чтобы ускорить развитие IOS, особенно в Swift. Один из этих инструментов - это то, что мы назвали TLSphinx: Swift-обертка вокруг Pocketsphinx, которую может выполнять распознавание речи без звука, покидающего устройство.

Я предполагаю, что TLSphinx может помочь вам решить вашу проблему, поскольку это полностью открытая библиотека. Найдите его на Github («TLSphinx»), и вы также можете скачать наше приложение iOS («Tryolabs Mobile Showcase») и попробовать модуль вживую, чтобы посмотреть, как он работает. Надеюсь, это полезно!

Лучшее!