partitioning

2зной

1ответ

Разделение/фрагментация файлов JSON с JQ в Bash или Fish shell?

Я использую замечательный JQ library для анализа и извлечения данных JSON для облегчения повторного импорта. Я могу получить диапазон достаточно легко, но я не уверен, как вы можете прокручивать скрип

7зной

2ответ

pyspark partioning data using partitionby

Я понимаю, что partitionBy функция разделяет мои данные. Если я использую rdd.partitionBy(100), он разделит мои данные ключом на 100 частей. то есть данные, связанные с аналогичными ключами, будут сгр

4зной

2ответ

Spark Существует ли какое-либо эмпирическое правило об оптимальном числе разбиений RDD и его количестве?

Есть ли какая-либо связь между количеством элементов, содержащихся в RDD, и его идеальным количеством разделов? У меня есть RDD, у которого есть тысячи разделов (потому что я загружаю его из исходного

-2зной

1ответ

Алгоритм для поиска всех способов распределения N объектов в M-коллекциях

Учитывая коллекцию с подколлекциями M, хороший алгоритм (желательно реализация в Javascript, но любой другой язык или псевдокод также будет интересен), чтобы найти все возможные дистрибутивы из N объе

0зной

1ответ

MySQL секционирование по дате

Я пытаюсь создать раздел в MySQL на дату колонке MV_DATE имеет тип DATE Вот запрос - ALTER TABLE table_name PARTITION BY RANGE (TO_DAYS(MV_DATE))(PARTITION p0 VALUES LESS THAN (TO_DAYS('2015-08-31')))

1зной

2ответ

Скрипт Diskpart для удаления всех разделов

Я пытаюсь создать скрипт Diskpart, который принимает значение буквы диска, а затем удаляет все разделы соответствующего устройства этой буквы диска. Сценарий, который я в настоящее время является sele

1зной

1ответ

Spark Streaming parallelism с одним единственным ключом

Я создал прототип приложения с Spark Streaming в Java, которое использует HyperLogLog для оценки отдельных пользователей из имитируемого потока кликов. Позвольте мне кратко набросать мое решение. Снач