Группировка элементов dask.bag в отдельных разделах

Question

Мне было интересно, может ли кто-нибудь помочь мне разобраться в способе Bag объекты обрабатывают разделы. Проще говоря, я пытаюсь группировать элементы, находящиеся в настоящее время в Bag, так что каждая группа находится в своем собственном разделе. Что меня смущает, так это то, что метод Bag.groupby() запрашивает несколько разделов. Разве это не должно подразумеваться функцией группировки? Например, два раздела, если функция группировки возвращает логическое значение?

>>> a = dask.bag.from_sequence(range(20), npartitions = 1) 
>>> a.npartitions 
1 
>>> b = a.groupby(lambda x: x % 2 == 0) 
>>> b.npartitions 
1 

У меня явно что-то отсутствует. Есть ли способ группировать Bag элементов на отдельные разделы?

Answer 1

Dask bag может содержать несколько групп в одной секции.

In [1]: import dask.bag as db 

In [2]: b = db.range(10, npartitions=3).groupby(lambda x: x % 5) 

In [3]: partitions = b.to_delayed() 

In [4]: partitions 
Out[4]: 
[Delayed(('groupby-collect-f00b0aed94fd394a3c61602f5c3a4d42', 0)), 
Delayed(('groupby-collect-f00b0aed94fd394a3c61602f5c3a4d42', 1)), 
Delayed(('groupby-collect-f00b0aed94fd394a3c61602f5c3a4d42', 2))] 

In [5]: for part in partitions: 
    ...:  print(part.compute()) 
    ...:  
[(0, [0, 5]), (3, [3, 8])] 
[(1, [1, 6]), (4, [4, 9])] 
[(2, [2, 7])]