Я использую Kmeans() в среде, в которой у меня нет контроля, и я оставлю в < 1 месяц. Искры 1.6.2. установлен. Должен ли я заплатить цену за призыв «их» до обновления до Spark 2.0.0 до моего отъезда?
Я использую pySpark для записи паркетного файла. Я хотел бы изменить размер блока hdfs этого файла. Я установить размер блока, как это и он не работает: sc._jsc.hadoopConfiguration().set("dfs.block.si
Для обработки данных, которые у меня есть, я извлекаю схему раньше, поэтому, когда я читаю набор данных, я предоставляю схему вместо того, чтобы пройти дорогостоящий шаг вывода схемы. Для построения с