hadoop

0зной

1ответ

Почему я не могу соединиться с метафорой улья, используя искру apache?

Я пытаюсь соединиться с улей apache с помощью apache spark с помощью java-программы. Вот программа: import org.apache.spark.sql.SparkSession; public class queryhive { public static void main(S

0зной

1ответ

Получение ошибки при загрузке файла в свинью:

Я пытаюсь выполнить сценарий свиньи в терминале, и я получаю следующее сообщение об ошибке: INFO [Thread-13] org.apache.hadoop.util.NativeCodeLoader - Loaded the native-hadoop library WARN [Thread-1

1зной

1ответ

Как вставить json-данные из hdfs в mysql с помощью sqoop?

Я загрузил данные JSON в HDFS, я создал таблицу с необходимыми столбцами в базе данных MySQL следующим образом. Как создать таблицу с форматированием строк для принятия JSON? Моих HDFS данные { "Empl

0зной

1ответ

Как локально проверить карту и уменьшить код?

Если у меня есть файл map.py, который читает из нескольких файлов csv и создает пары ключ-значение, как я могу передать их на мой редуктор.py и проверить локально?

0зной

2ответ

один редуктор против нескольких редукторов с последующей обработкой для подсчета слов и сортировки. Какой из них более эффективен и масштабируемо?

Я делаю подсчет слов с сортировкой (по значению) в одной задаче MapReduce. Два пути для достижения этой цели: Используя один редуктор и сохранение все в HashMap в функции уменьшения и сортировки все п

1зной

2ответ

Как отрегулировать интервал контрольной точки в hadoop? и почему требуется checkpoint_intereval?

Я пробовал это практически понять концепцию, но я до сих пор не ясно. сказать, например, fs.trash.interval = 9min и fs.trash.checkpoint.interval = 2мин Теперь я удалю file1 в 10:00 и file2 в 10:03. Он

0зной

1ответ

Итеративное значение Reducer, по-видимому, непоследовательно в Java MapReduce

У меня есть следующий код внутри моей функции сокращения. Когда я пытаюсь сделать мелкую копию с помощью CollectionUtils.addAll, копия не удалась; все элементы будут иметь ссылку на элемент LAST вмест