Hadoop: как начать мой первый проект

Question

Я начинаю работать с Hadoop, но я не знаю, где и как это сделать. Я работаю над OS X, и я следую инструкциям по установке Hadoop, это сделано, и это работает, но теперь я не знаю, что делать.

Есть ли IDE для установки (возможно, затмения)? Я нахожу некоторые коды, но ничего не работает, и я не знаю, что мне нужно добавить в свой проект и т. Д.

Не могли бы вы дать мне информацию или привести меня в полный учебник?

Answer 1

Если вы хотите, чтобы узнать основы Hadoop, то я рекомендую просто начать с установкой Cloudera QuickStart виртуальной машины в вашей системе OSX при условии, что ваша система имеет все предпосылки: виртуальные машины

http://www.cloudera.com/downloads/quickstart_vms/5-8.html

Cloudera QuickStart включают все вам нужно попробовать Hadoop, MapReduce, Hive, Pig, Impala и т. д. и Eclipse IDE.

Выше будет отлично, если вы заинтересованы в том, чтобы заниматься карьерой в качестве разработчика Hadoop, однако, если вас интересует администратор системы Hadoop, следуйте рекомендациям @Alvaro.

Тогда есть введение в Hadoop и MapReduce курс по Udacity будет хорошим стартом для начинающих: https://www.udacity.com/course/intro-to-hadoop-and-mapreduce--ud617

Hadoop: The Definitive Guide Том Уайт может быть большой всеобъемлющей книги для обозначения: http://shop.oreilly.com/product/0636920033448.do

Answer 2

Я бы порекомендовал вам установить псевдораспределенный пример Cloudera на виртуальной машине, последней версии LTS Ubuntu. Таким образом, вы не испортили свой ноутбук, и это будет среда, ближе к чему бы вы ни делали в производстве. Вы проверили vagrantup.com?

Когда вы его установили, вы можете выбрать работу непосредственно на Java или выбрать фреймворк как MrJob (python) для выполнения некоторых пользовательских программ.

Лучший, Альваро.