1
Я использую ноутбук Jupyter с PySpark, который использует Spark как ядро.Заключительный ноутбук PySpark правильно
Проблема заключается в том, что я не уверен, как правильно ее закрыть, и у меня создается впечатление, что что-то держится, поскольку память на драйвере, на котором работает ноутбук, заполняется и падает (я получаю исключение из командной строки GC).
Я закрываю все это, просто убивая ноутбук, используя идентификатор процесса, который я сохраняю в файле .pid. Но у меня есть ощущение, что следующее состояние является банкнота хорошо:
Какова реальная проблема и как ее решить, то есть, как близко все это (на водителя и на пряжу) должным образом?
Спасибо за ответ. И есть ли разница в том, что я делаю? – Marko
Я не уверен, что использование меню jupyter всегда работает в моей среде, даже если драйвер получает исключения из памяти. Может быть, вы убиваете неправильный процесс? – Mariusz
думаю нет. Но знаете ли вы, какую проблему я испытываю? Потому что эти экземпляры искровой оболочки, похоже, накапливаются, даже если я не закрываю ноутбук, то есть во время работы они накапливаются, а в конце я получаю ошибку накладного расхода GC, показанную в искру ui. – Marko