MongoDB sharding для хранилища данных

Question

Sharding обеспечивает масштабируемую пропускную способность и хранение. Масштабируемая пропускная способность и хранение - это своего рода рай для аналитики. Однако есть огромный компромисс, о котором я думаю.

Если я использую хэш-ключ осколка, - запись будет очень масштабируемым - однако, если я делаю последовательное чтение для фактов, то это будет исчерпывающим, поскольку он должен получить доступ ко всему серверу

Если я использую варьировался ключ осколка, например используя поле А, - запись может быть масштабируемой, если мы не используем поле метки времени - однако, последовательное чтение не будет масштабируемым, если мы не используем поле А

На моем взгляде, это не будет очень масштабируемым как хранилище данных. Однако я не знаю, какое еще решение сделать масштабируемым хранилище данных mongoDB.

Действительно ли mongoDB sharding действительно подходит для масштабирования хранилища данных?

Answer 1

Erm, если вы читаете много данных, то, скорее всего, вы исчерпаете физическую емкость чтения одного сервера. You хотите чтение должно выполняться параллельно - если у меня не очень плохое понимание хранилищ данных и ограничений жестких дисков и твердотельных накопителей в наши дни.

Что бы вы сделали в первую очередь, это выбрать подмножество данных, которые вы хотите проанализировать, не так ли? Если у вас есть много данных, имеет смысл, что это сопоставление выполняется параллельно. Когда подмножество выбрано, необходимо провести дальнейший анализ, правильно? Это точно, что делает MongoDB в структуре агрегации. Раннее совпадение выполняется по всем затронутым осколкам, и результат отправляется на первичный осколок для этой базы данных, где применяются дальнейшие шаги конвейера агрегации.