Утилита для ввода данных в HDFS

Question

Мне нужно создать общую утилиту для системы unix/Windows, чтобы выталкивать данные в систему hadoop. Пользователь может запускать эту утилиту с любой платформы и должен иметь возможность передавать данные в HDFS.

WebHDFS может быть одним из вариантов, но любопытно узнать, имеется ли что-либо еще.

Любые предложения?

Answer 1

Я обычно делаю проект Maven и добавить эту зависимость в моем pom.xml файл:

<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-client</artifactId> 
    <version>2.6.1</version> 
</dependency> 

Затем нажать данных в HDFS это очень легко с Hadoop Java API, это простой пример просто см., как это работает:

String namenodeLocation = "hdfs://[your-namenode-ip-address]:[hadoop:listening-port]/"; 

Configuration configuration = new Configuration(); 
FileSystem hdfs = FileSystem.get(new URI(namenodeLocation), configuration); 
Path file = new Path(namenodeLocation+"/myWonderful.data"); 

FSDataOutputStream outStream = hdfs.create(file); 

byte[] coolDataToPushToHDFS = new byte[1500]; 

outStream.write(coolDataToPushToHDFS); 
outStream.close(); 

hdfs.close(); 

Это действительно простая программа. Я думаю, что шаги, которые вы должны сделать это:

1. Пусть пользователи выбирают входные/данные, чтобы подтолкнуть
2. Использование Hadoop Java API для отправки файлов/данных в кластер
3. Дайте обратную связь с пользователем.

Вы также можете добавить информацию в файл, а не только создать новый файл.

Дайте взглянуть на документацию: https://hadoop.apache.org/docs/current/api/