bigdata

1зной

1ответ

Как построить стабильную систему для обработки 90 миллионов строк и трансляции в живой сервер каждый день?

У меня есть сотрудник, награждающий & система слежения за компанией. Компания, в которой я разрабатываю систему, предоставляя мне данные о продажах с помощью FTP каждый день. (К сожалению, они не пред

0зной

1ответ

Возможно ли создать пользовательский веб-интерфейс по сравнению с ВИЧ?

Я очень новичок в инструментах Hadoop. Поэтому я задаю это сомнение. Я использую sqoop для передачи данных из моей реляционной БД в HDFS. Теперь в качестве следующего шага я хочу сгенерировать несколь

0зной

1ответ

Каков наилучший способ сократить время вычисления при обработке большого кадра данных?

У меня есть большой кадр данных, состоящий из 9 mio объектов на сервере RStudio со следующим форматом (есть много показаний для каждого installnr), и когда я запускаю скрипт, вычисляющий средства и ст

0зной

1ответ

Извлечение значений из искры RDD

RDDData===RET ( 12345, 20170201, Map(12 -> 85, 15 -> 57, 00 -> 3, 09 -> 80, 21 -> 33, 03 -> 7, 18 -> 50, 06 -> 38, 17 -> 43, 23 -> 28, 11 -> 73, 05 -> 16, 14 -> 58, 08 -> 66, 20 -> 35,

0зной

1ответ

Как локально проверить карту и уменьшить код?

Если у меня есть файл map.py, который читает из нескольких файлов csv и создает пары ключ-значение, как я могу передать их на мой редуктор.py и проверить локально?