mapreduce

2зной

1ответ

Приложение примера конфигурации Amazon AWS EMR «no»

Я зарегистрировался на вчерашний день aws и сегодня я следил за несколькими видео на YouTube, чтобы запустить образец wordcount на входном файле в S3. Я попытался это сделать, но я не вижу кнопки «при

0зной

1ответ

Совместное использование переменной conf или использование двух заданий? Что лучше?

Мне дали большой текстовый файл. С данные взяты из такси компании. Эти данные организованы между поездками. Пример: Водительские права (32421ALED), Фаре (US $ 6) лицензия водителя (9167825HF), Фаре (U

1зной

2ответ

Значение toArray не является членом org.apache.spark.rdd.RDD [(String, Int)]

У меня проблема, когда я устал компилировать свою программу scala. Вот мой код. Это часть проблемы с выдачей кода. val Average_Age = value2 .groupBy(_._2._1) .mapValues(Sum_Age=>mean1(Sum_A

1зной

1ответ

Как MapReduce восстанавливается после ошибок, если сбой происходит на промежуточной стадии

В Spark я знаю, что ошибки восстанавливаются путем перерасчета RDD, если RDD не кэшируется. В этом случае вычисление может начинаться с этого кэшированного RDD. Мой вопрос в том, как ошибки восстанавл

0зной

2ответ

Когда выполняются множественные задания MapReduce, выводится ли каждый из них в HDFS?

Скажем, несколько заданий MapReduce привязаны, как показано ниже. Map1-Reduce1 -> Map2-Reduce2 -> ... -> MapN-ReduceN Будет ли вывод каждого задания MapReduce записываться в HDFS? Например, будет ли

0зной

2ответ

sqoop export to hana failed

Когда я хочу экспортировать данные из sqoop в hana DB, я получаю сообщение об ошибке. Здесь sqoop называют sqoop export \ --connect "jdbc:sap://saphana:30115" \ --username username \ --password pas

1зной

3ответ

Экспорт данных из Amazon Redshift as JSON

Мы переезжаем из Redshift в Spark. У меня есть таблица в Redshift, которую мне нужно экспортировать в S3. С S3 это будет передаваться в Apache Spark (EMR). Я нашел, что есть только один способ экспорт