apache-spark-sql

2зной

2ответ

Присоединяйтесь два (не) в пару РДА сделать DataFrame

Как название описывает, что у меня есть два РДА rdd1 = sc.parallelize([1,2,3]) rdd2 = sc.parallelize([1,0,0]) или rdd3 = sc.parallelize([("Id", 1),("Id", 2),("Id",3)]) rdd4 = sc.parallelize([("Res

1зной

1ответ

Spark: Group RDD Sql Query

У меня есть 3 RDD, с которыми мне нужно присоединиться. вал event1001RDD: schemaRDD = [EventType, идентификатор, местоположение, date1] [1001,4929102,LOC01,2015-01-20 10:44:39] [1001,4929103,LOC02,20

0зной

1ответ

Как передать список значений, JSon pyspark

>>> from pyspark.sql import SQLContext >>> sqlContext = SQLContext(sc) >>> rdd =sqlContext.jsonFile("tmp.json") >>> rdd_new= rdd.map(lambda x:x.name,x.age) Его рабочий properly.But есть список зн

0зной

1ответ

Вместо того, чтобы использовать определенное окно искрообразования, он получает полные сообщения от kafka за один раз

Kafka уже заполнен 1 crores сообщений, затем я запускаю эту базу кода, в соответствии с ожиданием она должна указывать количество кортежей/сообщений обрабатывается в 2-секундном окне, но в первый раз

19зной

1ответ

Является ли вложенная структура Spark DataFrame ограниченной для выбора?

У меня есть файл в формате JSON с некоторыми данными, я могу создать DataFrame из него и схемы для отдельной части меня интересует выглядит следующим образом: val json: DataFrame = sqlc.load("entities

2зной

1ответ

Написание UDF в искровом sql с scala

Я пишу UDF в искрах SQL, и мне интересно, есть ли место, где я могу прочитать документацию о том, что именно по сравнению с тем, что невозможно в этом отношении? Или учебник? Я использую SQLContext, а