hadoop2

1зной

1ответ

Как изменить имя выходного файла с part-00000 в редукторе на имя входного файла

В настоящее время я могу реализовать изменение имени от part-00000 к пользовательскому файлуName в mapper. Я делаю это, беря inputSplit. Я попробовал то же самое в редукторе, чтобы переименовать файл,

0зной

1ответ

Как удалить -r-00000 из part-r-00000 в выход редуктора

В моем коде MapReduce, на стороне редуктора я реализую MultipleOutputs, и я подключил inputplit к нему. Я хочу, чтобы мое имя выходного файла было как мое ключевое значение, а не как keyvalue-r-00000.

2зной

1ответ

Не реализована реализация S3FileSystem FileSystem Hadoop Jar

Я добавил эту конфигурацию сборки в мой maven pom, так как я хочу, чтобы Apache Solr Dependencies были в комплекте с Jar. другой мудрый я получал SolarServerException: ClassNotFound, теперь я не получ

2зной

2ответ

Как импортировать данные из sqlserver в hdfs/hive/hbase

Я импортировал данные MYSQL в улей & hbase. Теперь я хочу импортировать данные с сервера sql. Для этого я использовал эту команду. sqoop import --connect "jdbc:sqlserver://<server_name>\<instance_name

2зной

1ответ

ошибка при использовании miniDFSCluster на окнах

Я пытаюсь писать юнит-тесты с использованием miniDFSCluster и бросает ошибку ниже java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO $ Windows.access0 (Ljava/lang/String; I) Z любы