apache-spark

0зной

2ответ

Spark Dataframe/Dataset: общая условная суммарная сумма

У меня есть dataframe, который имеет несколько атрибутов (от C1 до C2), смещение (в днях) и несколько значений (V1, V2). val inputDF= spark.sparkContext.parallelize(Seq((1,2,30, 100, -1),(1,2,30, 100,

1зной

2ответ

Как отрегулировать интервал контрольной точки в hadoop? и почему требуется checkpoint_intereval?

Я пробовал это практически понять концепцию, но я до сих пор не ясно. сказать, например, fs.trash.interval = 9min и fs.trash.checkpoint.interval = 2мин Теперь я удалю file1 в 10:00 и file2 в 10:03. Он

0зной

1ответ

Google dataproc: невозможно получить информацию об истории искры

Я создал кластер Google Dataproc. После входа в мастер-узел Я начал с искровой оболочкой затем пытается получить доступ к истории искровой странице с помощью http://<external_ip_masternode>:4040 Он

1зной

2ответ

Как запустить Apache Spark на GPU?

Я хочу интегрировать искру apache с GPU, но искра работает на java, в то время как gpu использует CUDA/OpenCL, так как мы их объединяем.