spark-dataframe

0зной

1ответ

Spark UDF как параметр функции, UDF не находится в области функций

У меня есть несколько UDF, которые я хотел бы передать как аргумент функции вместе с кадрами данных. Одним из способов сделать это может быть создание UDF внутри функции, но это создаст и уничтожит не

scala apache-spark apache-spark-sql spark-dataframe udf 2017-02-08

---

1зной

1ответ

Как присоединиться к искровым dataframe без дубликатов колонка в JAVA

Как мы можем объединить 2 dataframes без дублирующих колонн a.show() +-----+-------------------+--------+------+ | Name| LastTime|Duration|Status| +-----+-------------------+--------+------+ |

java apache-spark apache-spark-sql spark-dataframe 2017-02-09

---

4зной

1ответ

Паттерн данных фильтра Pyspark по столбцам другого информационного кадра

Не уверен, почему у меня с этим трудное время, кажется, это так просто, потому что это довольно легко сделать в R или пандах. Я хотел избежать использования панд, хотя, поскольку я имею дело с большим

python-2.7 apache-spark pyspark spark-dataframe 2017-02-09

---

-1зной

2ответ

Как получить данные по кадрам CROSS JOIN 2?

Я изо всех сил пытаюсь получить CROSS JOIN из 2 кадров данных. Я использую искру 2.0. Как я могу реализовать CROSSS JOIN с 2 кадрами данных? Edit: val df=df.join(df_t1, df("Col1")===df_t1("col")).join

apache-spark apache-spark-sql spark-dataframe 2017-02-10

---

22зной

3ответ

Получить текущее количество разделов DataFrame

Есть ли способ получить текущее количество разделов DataFrame? Я проверил DataFrame javadoc (искра 1.6) и не нашел для этого метода, или я просто пропустил его? (В случае JavaRDD есть getNumPartitions

apache-spark spark-dataframe 2017-02-11

---