dask

3зной

1ответ

API-интерфейс dask говорит, что map_partition можно использовать для «применения функции Python для каждого раздела DataFrame». Из этого описания и в соответствии с обычным поведением «карты» я ожидаю

1зной

1ответ

Как сопоставить результаты поиска `dask.DataFrame` с csvs

Я создаю dataframe с df=dask.DataFrame.read_csv('s3://bucket/*.csv'). Когда я выполняю операцию df[df.a.isnull()].compute, я получаю набор возвращаемых строк, соответствующих критериям фильтра. Я хоте

5зной

2ответ

Как указать метаданные для dask.dataframe

Документы предоставляют хорошие примеры, how metadata can be provided. Однако я все еще чувствую себя неуверенным, когда дело доходит до выбора правильных типов для моего фреймворка. Могу ли я сделать

2зной

2ответ

Как визуализировать графические символы?

Я следую за official docs, однако получаю ошибку во время импорта. F:\>python Python 2.7.11 |Anaconda custom (64-bit)| (default, Feb 16 2016, 09:58:36)[MSC v.1500 64 bit (AMD64)] on win32 Type "help

1зной

1ответ

Может ли Dask обеспечить ускорение для 1D-массивов?

При работе с 2D-данными я вижу небольшое ускорение на 2D-массивах, но даже на больших 1D-массивах это преимущество исчезает. Э.Г., в 2D: In [48]: x = np.random.random((3000, 2000)) In [49]: X = da.f

1зной

1ответ

Может ли dask использоваться для группировки и пересчета из ядра?

У меня есть 8GB csv файлы и 8 ГБ ОЗУ. Каждый файл имеет две строки на строку в этой форме: a,c c,a f,g a,c c,a b,f c,a Для небольших файлов я удалить дубликаты подсчета, сколько копий каждой с

0зной

2ответ

Должен ли я запускать dask.distributed или dask.multiprocessing как sudo на Mac OS X?

Я новичок в использовании dask для распределенных/параллельных вычислений. У меня есть большая проблема, чтобы заставить его работать на моем Mac, но, похоже, он работает, когда я запускаю его как roo