Trillion-row public dataset?

Question

Я выполняю несколько тестов в базе данных, и мне было интересно, есть ли общедоступные наборы данных, содержащие более 1Т строк?

Я знаю, что в Google Big Query имеется несколько общедоступных наборов данных, которые представляют собой 100M + (wikipedia, gdelt-events) и 1B + (nyc-tlc) строки, но не могут найти ничего большего. Кто-нибудь знает о наборе данных в 1Т-строке, который можно загрузить или загрузить?

Несколько ссылок ссылки:

• https://aws.amazon.com/public-datasets/
• https://cloud.google.com/public-datasets/

Answer 1

Есть эталонные таблицы вики. У меня есть самый большой открытый стол, который я видел. Самая большая таблица - 106B строк (6.76TB). Если вы действительно хотели триллион строк, вы могли бы просто запустить ~ 10 * копировать приложения для добавления!

https://bigquery.cloud.google.com/table/bigquery-samples:wikipedia_benchmark.Wiki100B?tab=details

Answer 2

Не было бы проще просто генерировать набор данных? Несомненно, остается открытым вопрос о том, насколько реалистичны его распределения и коорреляции по стоимости, а также то, как это сильно влияет на измеренные показатели.

И если вы можете предположить, что кластер масштабируется линейно, вы можете просто сравнить с 5% данных и 5% от количества узлов, которые вы ожидаете от производственного кластера. Независимо от размера набора данных вы просто выбираете количество узлов, чтобы они могли выполнять необходимое количество запросов/минуту.

Выполнение резервной копии базы данных этого размера должно быть довольно интересной проблемой, особенно если она постоянно обновляется.