Я загружаю файл с объектами JSON в виде pyspark SchemaRDD. Я хочу изменить «форму» объектов (в основном, я их сглаживаю), а затем вставить в таблицу «Улов». У меня есть проблема в том, что следующие в
У меня есть простой запрос на улей, который отлично работает в режиме клиента пряжи, используя оболочку pyspark, где, поскольку это бросает мне ошибку ниже, когда я запускаю ее в нить-кластерный режим
Вот код, чтобы создать pyspark.sql DataFrame import numpy as np
import pandas as pd
from pyspark import SparkContext
from pyspark.sql import SQLContext
df = pd.DataFrame(np.array([[1,2,3],[4,5,6],