apache-spark-dataset

3зной

1ответ

Как сделать неслучайное разбиение набора данных на Apache Spark?

Я знаю, что может сделать случайное расщепление с помощью метода randomSplit: val splittedData: Array[Dataset[Row]] = preparedData.randomSplit(Array(0.5, 0.3, 0.2)) Может ли я разделить данные

0зной

1ответ

набор данных с плоской планкой Отсутствует тип параметра

У меня есть набор данных со столбцом, который содержит список чисел. Я хочу подсчитать вхождения каждого отдельного номера во всех этих списках. Поэтому я делаю flatMap, чтобы получить набор из всех ц

1зной

2ответ

Исключение Null pointer - Apache Spark Dataset left external join

Я пытаюсь изучить набор данных искры (искра 2.0.1). Ниже левого внешнего соединения создается исключение Null pointer. case class Employee(name: String, age: Int, departmentId: Int, salary: Double) c

2зной

1ответ

Spark динамический DAG намного медленнее и отличается от жестко закодированного DAG

У меня есть операция в искровом свете, которая должна выполняться для нескольких столбцов в кадре данных. Как правило, есть 2 возможности указать такие операции жёстко handleBias("bar", df) .join

3зной

2ответ

Спарк Dataframes- Снижение по ключевым

Скажем, у меня есть структура данных, как это, где ц некоторая TIMESTAMP case class Record(ts: Long, id: Int, value: Int) Учитывая большое количество этих записей я хочу закончить с записью с самой

2зной

1ответ

Как распараллеливать/распространять запросы/счета против Spark DataFrame?

У меня есть DataFrame, к которому я должен применить серию фильтрующих запросов. Например, я загружаю DataFrame следующим образом. val df = spark.read.parquet("hdfs://box/some-parquet") У меня тогда

3зной

2ответ

Производительность фильтра Spark DataSet

Я экспериментировал с различными способами фильтрации типизированного набора данных. Оказывается, производительность может быть совсем другой. Набор данных был создан на основе рядов данных объемом 1,

1зной

2ответ

Как заполнить нулевое значение в dataframe на uuid?

Существует блок данных с нулевыми значениями в одном столбце (не все равны нулю), необходимо заполнить нулевое значение с помощью uuid, есть ли способ? cala> val df = Seq(("stuff2",null,null), ("stuff