pyspark

1зной

1ответ

как отличить все столбцы dataframe к строке

У меня смешанный тип данных. Я читаю этот файл данных из таблицы с улей, используя команду spark.sql('select a,b,c from table'). Некоторые столбцы являются int, bigint, double и другие являются строка

1зной

1ответ

Подсчет гранул и groubpy в pyspark

Я новичок в Spark, и я пытаюсь применить groupby и count к моей dataframe df по атрибуту users. import pandas as pd comments = [ (1, "Hi I heard about Spark"), (1, "Spark is awesome"), (2,

0зной

1ответ

Предупреждения Pyspark и не удалось подключить SparkContext

Я провел /bin/pyspark, чтобы сделать некоторую практику, но консоль выдает ошибку, как показано ниже. **[[email protected] bin]$ ./pyspark Python 2.6.6 (r266:84292, Aug 18 2016, 15:13:37) [GCC 4.4.7

0зной

3ответ

Перестройка Спарк RDD

У меня есть Спарк RDD следующим образом: rdd = sc.parallelize([('X01','Y01'), ('X01','Y02'), ('X01','Y03'), ('X02','Y01'), ('X02','Y06')]) Я хотел бы, чтобы преоб

1зной

1ответ

Как проверить, если столбец массива в другой массив столбцов в pyspark dataframe

Предположим, у меня есть следующий случай from pyspark.sql.types import * schema = StructType([ # schema StructField("id", StringType(), True), StructField("ev", ArrayType(StringType()), Tr

0зной

1ответ

Добавление S3DistCp в PySpark

Я пытаюсь добавить S3DistCp к моей локальной автономной установке Spark. Я скачал S3DistCp: aws s3 cp s3://elasticmapreduce/libs/s3distcp/1.latest/s3distcp.jar . И в AWS SDK, а также: wget http://sd

1зной

1ответ

Как получить максимум ArrayType MapTypes с помощью Spark SQL?

У меня есть следующий Спарк DataFrame: df = sql.createDataFrame([ (1, [ {'name': 'john', 'score': '0.8'}, {'name': 'johnson', 'score': '0.9'}, ]), (2, [ {'na