elasticsearch-hadoop

1зной

2ответ

Scala SBT elasticsearch-hadoop неразрешенная зависимость

При добавлении зависимостей libraryDependencies += "org.elasticsearch" % "elasticsearch-hadoop" % "5.1.1" и обновляющемся проекте я получаю много неразрешенных зависимостей (cascading, org.pentaho, ..

scala intellij-idea sbt elasticsearch-hadoop 2017-01-27

---

0зной

1ответ

Установка массивов в Elasticsearch через PySpark

У меня есть случай много, как это: Пример DataFrame: from pyspark.sql.types import * schema = StructType([ # schema StructField("id", StringType(), True), StructField("email", ArrayType(Str

apache-spark elasticsearch pyspark elasticsearch-hadoop 2017-02-08

---

0зной

1ответ

Обновление до Spark 2.0 dataframe.map

Я обновляю код Spark 1.6 до 2.0.1, и у меня возникают проблемы с использованием карты. Я вижу другие вопросы по таким вопросам, как encoder-error-while-trying-to-map-dataframe-row-to-updated-row, но я

apache-spark elasticsearch-hadoop 2016-11-04

---

0зной

1ответ

Elasticsearch hadoop настроить объемный размер партии

Я прочитал, возможно, Stackoverflow, что проекты es-hadoop/es-spark используют объемную индексацию. Если это так, то пакет Batchsize по умолчанию соответствует BulkProcessor (5Mb). Есть ли какая-либо

elasticsearch elasticsearch-hadoop elasticsearch-spark 2016-11-09

---

0зной

1ответ

Pyspark преобразование rdd в dataframe с нулями

Я использую pyspark (1.6) и elasticsearch-hadoop (5.1.1). Я получаю мои данные из elasticsearch в формат РДД с помощью: es_rdd = sc.newAPIHadoopRDD( inputFormatClass="org.elasticsearch

python pyspark elasticsearch-hadoop 2017-01-13

---