scalding

0зной

1ответ

Есть ли способ в Skalding Type Safe API для mapWithValue с двумя или более ValuePipes?

Использование ожоге типобезопасен API, этот код работает, где dictForKeys и dictForValues оба ValuePipe[Map[String,String]]: SomeKeyValueTypedPipe .mapWithValue(dictForKeys) { case ((key, value),

0зной

1ответ

Запуск тестового задания Scalding в Hadoop с классом JobTest

Я не могу запустить тест на ошпаривание с классом JobTest. Ниже приведена команда. Как отправить команду? Hadoop jar com.scala-0.0.1-SNAPSHOT.jar com.twitter.scalding.JobTest com.scala.etl --hdfs --in

0зной

2ответ

Скальпирование по EMR: Hadoop-задание не выполняется с помощью NoSuchMethodError: scala.Predef $ .ArrowAssoc (Ljava/lang/Object;) Ljava/lang/Object;

В основном мне нужно запустить работу по обжиганию на ЭМИ. Такая же работа отлично работает на локальном хаопе на моем macbook, но не работает на Hadoop на EMR. Я стараюсь получить помощь по этой проб

1зной

1ответ

Могу ли я запускать тесты искрового блока в пределах eclipse

Недавно мы перешли от использования обжига до искры. Я использовал eclipse и scala IDE для eclipse для написания кода и тестов. Тесты отлично работали с классом JobTest в Twitter. Любой класс, использ

4зной

2ответ

Почему для понимания расширяется до `withFilter`

Я работаю над DSL для реляционных (SQL-подобных) операторов. У меня есть тип Rep[Table] с методом .apply: ((Symbol, ...)) => Obj, который возвращает объект Obj, который определяет .flatMap: T1 => T2 и

1зной

1ответ

Как найти точную команду jaudo jo, которая выполняла мою работу?

Я использую CDH5.4. Я выполняю задание hadoop, которое из командной строки выглядит нормально (при простом запуске с hadoop jar). Однако, если я запускаю его с yarn, он бесшумно завершает работу с одн

0зной

1ответ

TypedPipe не может принуждать строки к DateTime, даже если задана неявная функция

У меня есть поток данных Scalding, который начинается с группы файлов значений разделенных по трубе. Первый столбец - DateTime в слегка нестандартном формате. Я хочу использовать сильно типизированный

0зной

1ответ

На каком узле hadoop будут выполняться следующие процессы предварительного и последующего процессов обжига?

У меня есть код ниже example для некоторого препроцесса перед запуском работы сглаживания и некоторым последующим процессом. Поскольку эти предварительные процессы и последующие процессы вызывают неко