Оптимальные конфигурации Spark SQL для процесса с одним узлом?

Question

Мы используем функциональные возможности SQL-сервера Spark SQL для совместной работы и анализа некоторых локальных файлов данных перед их загрузкой в ​​другом месте. Хотя мы довольны функциональностью, мы хотели бы настроить конфигурацию, чтобы выжать дополнительную производительность.

У нас нет кластера, но у вас, вероятно, будет 5 отдельных узлов, все потоковые файлы из S3, разгладя их (они не полагаются на какие-либо другие внешние файлы) отдельно и загружают их. К сожалению, мы используем Java api.

Это конфигурации, с которыми я экспериментирую, и любая помощь была бы потрясающей.

(Every RDD is being cached) 
spark.sql.inMemoryColumnarStorage.compressed true 
spark.sql.inMemoryColumnarStorage.batchSize 20000(doubled) 
spark.sql.autoBroadcastJoinThreshold 10485760 
spark.sql.shuffle.partitions 10(since its a local process, reducing from 200) 

Answer 1

Вы можете установить следующее свойство, а также которые будут убедиться, что партии получают обрезают на основе своей статистики столбцов, когда запрос вызывается: -

spark.sql.inMemoryColumnarStorage.partitionPruning true 

Примечание - Это имя свойства что касается Spark 1.2. В версии 1.1 я помню, что имя свойства немного отличается. Если вы используете 1.1, проверьте его.