bigdata

0зной

1ответ

агрегирование и усреднение данных на 200 млрд записей

Записи начались в файлах AVRO, которые были созданы ежедневно со следующей схемой. Существует 20 различных типов атрибутов, хранящихся в записях «attribute_key» и «attribute_value», метка времени и de

0зной

1ответ

Группа MySQL (Workbench) по работе на большом наборе данных (30 ГБ)

У меня есть большой набор данных, wim.tr_2012, с колонками Год, Месяц, День и Переулок. Я пытаюсь группировать по году, месяцу и дню и подсчитывать количество строк для каждой группы. Я использовал: S

1зной

1ответ

Удалить Close Points C# для большого набора данных

Я работаю над проектом, где мне нужно получить большое количество записей (приложение 20K), каждый из которых представляет точку (x, y), которые находятся в десятичной точке , У меня есть объект Point

0зной

1ответ

Правильное использование flatMap

Почему я постоянно получаю эту ошибку каждый раз, когда я пытаюсь выполнить действие своего RDD &, как это исправить? /databricks/spark/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py in get_return_va

4зной

1ответ

Как фильтровать и сортировать поток большого текстового файла в Python

У меня есть большой текстовый файл (> 1 ГБ) из трех разделенных запятыми значений, которые я хочу прочитать в Pandas DataFrame в кусках. Примером DataFrame ниже: Я хотел бы отфильтровать через этот фа

6зной

4ответ

Как эффективно сравнить список?

В настоящее время я работаю над веб-приложением в asp.net. В некоторых api-вызовах необходимо сравнивать ListA с ListB списков, чтобы определить, имеют ли ListA одинаковые элементы любого List в ListB