Распределенные альтернативы hadoop

Question

У меня есть любопытный вопрос.

Что такое распределенные и масштабируемые альтернативы hadoop. Я ищу некоторые распределенные файловые системы, такие как HDFS, которые могут быть использованы как дешевое и эффективное хранилище и хотели бы, чтобы на нем был обработан механизм обработки данных (пакетный/в режиме реального времени). Я знаю, что Искра может быть хорошей альтернативой. Но я хотел бы использовать эту систему в качестве файлового архива, который распространяется, отказоустойчив и масштабируется. Есть ли какие-нибудь подходящие решения? Предложения приветствуются. Спасибо :)

Answer 1

Это некоторые другие альтернативы Hadoop и Apache Spark. Cluster Map Reduce, Hydra и Conclusion, все они относительно хороши для крупных проектов данных. Подробнее здесь https://datafloq.com/read/Big-Data-Hadoop-Alternatives/1135

Answer 2

Если вы все еще ищете в альтернативных вариантов, эта статья Gigaom может помочь: https://gigaom.com/2012/07/11/because-hadoop-isnt-perfect-8-ways-to-replace-hdfs/ По умолчанию Спарк промывается в HDFS.

Поскольку HDFS является альтернативой Open Source для GFS (Google FS), вы можете использовать соединитель для GFS (Google FS доступен через сервисы Google Cloud Platform Storage) ... есть уловка: это дорогостоящий массив данных передачи между узлами/кластерами. Hadoop не был предназначен для данных в реальном времени, но менее динамических данных. Надеюсь, это поможет.

• MapR утверждает, что на 20% быстрее, чем обычные HDFS (но, лежащий в основе ФС HDFS) https://mapr.com/why-mapr/
• NetApp имеет альтернативу HDFS, а http://www.netapp.com/us/solutions/applications/big-data-analytics/index.aspx

Все ссылки выше, являются статьи Gigaom я разделил. Надеюсь, это поможет.