spark-dataframe

0зной

1ответ

pyspark: пересечение нескольких dataframes

В pyspark 2.0 Я этот dataframe: my_df = spark.createDataFrame([{'id': '0001', 'site': 'R1', 'visit': 100}, {'id': '0002', 'site': 'R1', 'visit': 50}, {'id': '0001', 'site': 'R2

-4зной

1ответ

Поиск дубликатов из большого набора данных с использованием Apache Spark

Предположим, что у нас есть большой файл csv/excel, где имеется большое количество записей против следующих полей. 1.Email 2.First Name 3.Last Name 4.Phone Number etc. Среди этих записей, мы долж

0зной

1ответ

Pyspark save to S3

Я пытаюсь сохранить большой файл в ведро Amazon S3. Следующий код работает отлично: sqlContext.createDataFrame([('1', '4'), ('2', '5'), ('3', '6')], ["A", "B"]).select('A').repartition(1).write \

1зной

1ответ

Spark dataset custom partitioner

Не могли бы вы помочь мне найти Java API для перераспределения sales dataset для N паттернов равного размера? В равном размере я имею в виду равное количество строк. Dataset<Row> sales = sparkSession.

0зной

1ответ

Как выбрать один и тот же столбец, в который входит полное внешнее соединение?

Если у меня есть две таблицы Table A user_id type 123 tier1 124 tier2 Table B user_id sub_type 123 sub_tier1 125 sub_tier2 Я хочу full outer присоединиться к ним и стать user_id type sub