Dask совместно с фьючерсами с каналами и использованием памяти

Question

Я играю с описанной здесь функциональностью dask «Shared Futures With Channels».

Как объяснялось в документе, мне удалось представить фьючерсы и добавить их на канал. Затем от другого клиента мне удается пробежать будущее и получить от них результат.

В моем случае использования на канале можно загружать много фьючерсов. Когда я смотрю на планировщик, я вижу, что рост использования памяти даже и остается высоким, даже после этого я получаю результат.

Есть ли способ выгрузить фьючерсы с канала?

Answer 1

По состоянию на январь 2017 года не существует механизма для устранения определенных фьючерсов с канала, хотя это можно было бы добавить. Возможно, вы захотите поднять вопрос here.

Вы могли бы также рассмотреть вопрос о создании канала с максимальной длиной с использованием параметра maxlen=

chan = Channel('my-channel', maxlen=100) 

Вам нужно будет сделать это в первый раз при создании канала.