У меня есть небольшой проект для домашних животных с другом, где мы хотим создать программу визуализации в реальном времени, в основном используя аудио/видео материал, контролируемый MIDI. Теперь часть MIDI не проблема, вы, кажется, находите достойные решения практически для любого языка, но я нахожу себя ужасно неуверенным в том, каким образом я должен смотреть на обработку видео в разумном ключе. Я ищу и быстрый поиск и дополнительные визуализации (например, несколько наложенных изображений).Визуализации в реальном времени с аудио и видео, в каком направлении я должен смотреть?
Я уже экспериментировал с несколькими вариантами, которые, как я нашел, были чрезвычайно легкими в игре, и, казалось, предлагали хотя бы что-то для этой задачи, но с каждым из них я чувствовал, что могу столкнуться с тупиками или низкой производительностью позже когда вы хотите добавить функции и т. д. До сих пор я пытался использовать Pure Data, Max и Processing.
То, что я в основном прошу совета, - это направить меня на оптимальный или по крайней мере достойный путь касательно видео. Самая большая проблема заключается в том, что я все время использую только для того, чтобы узнать, какой язык программирования или библиотеку я должен использовать. Если бы я получил только такое руководство, я мог бы, наконец, начать работать над этим и продвигаться вперед.
Я полагаю, что мне больше всего нравится питон, но любые предложения приветствуются. Я немного прочитал о gstreamer, и я думаю, что там может быть что-то, но теперь мы говорим о библиотеке с относительно низким уровнем, которая потребует хотя бы некоторого времени для получения каких-либо результатов, в отличие от обработки или чистых данных/Max, например.
В дополнение к языку/библиотеке мне интересно узнать о важности формата видео. Это немного выходит за рамки меня, когда мы начинаем говорить о кодеках, I-, P-, B-кадрах и многом другом. Кто знает, может быть даже решение, в котором мы будем использовать оптимальный формат видео, вставьте этот ребенок в RAMdisk или что-то еще и получим удовлетворительную скорость поиска только с этим.
Добро пожаловать в SO. Такой формат вопроса не является тем, к чему ориентирован сайт. Существует много вариантов подхода к этому проекту - в том числе в Python, Java/Processing и т. Д., И вы, вероятно, лучше всего решаете, что больше всего соответствует вашим навыкам. По моему опыту Processing/Java является самым мощным средством для комплексного медиа-рендеринга, но другие, без сомнения, не согласятся. – geotheory
Да, сделанный пункт. Хорошо, спасибо большое за ответ в любом случае. – vekkuli