Я заинтересован в распределенной обработке изображений. У меня есть кластер Hadoop из 32 узлов, и я хочу распространять изображения на узлах, обрабатывать их, а затем собирать результат из каждого из них (более похоже на уменьшение карты). Пожалуйста, объясните все возможные способы распределенной обработки изображений (например, с использованием распределенного сервера Matlab, используя кластер Hadoop и т. Д.).Как интегрировать matlab с hadoop
Я не уверен в Matlab и как он может экспортировать данные из него, но для Hadoop стороны я бы рекомендовал использовать сервис Hadoop Storm. Вы можете организовать шлюз для своих изображений внутри брокера сообщений Kafka. Там вы можете нажать изображения. В Storm вы можете создать собственный рабочий процесс для своих изображений. Вы можете выполнить некоторые алгоритмы компьютерного зрения на них, например, или просто сохранить их в HDFS или HBase или в любом другом соответствующем хранилище. Если вы можете экспортировать данные из mathlab в Kafka, возможно, с помощью некоторого автономного сервиса, то Storm, безусловно, ваш путь.
MATLAB имеет функцию mapreduce, которую вы можете использовать с кластером Hadoop. В документации Parallel Computing Toolbox описано here - на странице показан полный пример запуска mapreduce на кластере Hadoop. Вам понадобится лицензия Parallel Computing Toolbox на вашем рабочем столе и MATLAB Distributed Computing Server лицензии для вашего кластера Hadoop.