Есть ли пример набора данных для иллюстрации преимуществ производительности cstore_fdw?

Question

Я просмотрел примеры в Citus quick start guide с набором данных customer_reviews. Он отлично работает, но производительность на одном и том же наборе данных в обычной таблице PostgreSQL также была неплохой. Я подозреваю, что это потому, что набор данных может поместиться в RAM в любом случае: у меня есть 4-процессорная Linux VM с 8 ГБ оперативной памяти.

Может ли кто-нибудь указать мне на лучший пример набора данных/запроса, чтобы выделить утилиту cstore_fdw, где традиционный магазин строк попадает в стену с производительностью?

Answer 1

Я бы генерировать данные на лету что-то вроде:

node -e 'keys="pink penguins putter past potholes".split(" "), for (i=0; i<1000000; i++) console.log(JSON.stringify(keys.reduce((d,k) =>{ d[k]=Math.random(); return d; },{})))' 

Если вы знаете, что ваши JSON сгустки будет выглядеть, как вы можете написать схему для них и генерировать случайные пятна с чем-то вроде this package

This page отлично справляется с описанием схемы JSON. Я не помню, какой случайный генератор json использовал, но пока он работает, вероятно, не имеет значения, что вы выбираете.

Я оцениваю сам cstore в данный момент. У меня уже есть шланг JSON blobs, поэтому мне больше не нужно генерировать, но для подобных случаев это то, что я делал раньше.