Какова временная сложность и объем памяти операций DataFrame в Spark?

Question

Какова алгоритмическая сложность и/или потребление памяти в операциях dataframe в Spark? Я не могу найти никакой информации в документации.

Один полезный пример был бы ответ на/диске объем памяти при удлинении на dataframe с другой колонке (withColumn()): (в Python с автоматической сборки мусора) это лучше сделать table = table.withColumn(…) или же extended_table = table.withColumn() занимает около одной и той же памяти ?

PS: Предположим, что обе таблицы сохраняются с persist().

Answer 1

Назначение одной и той же переменной или другой переменной не имеет значения. Spark просто использует эти назначения для построения графика линии из указанной операции. Когда вы вызываете действительное действие Spark, выполняются операции в графике линии.

Дополнительная память требуется только при кэшировании промежуточных результатов через .cache() или .persist().