Каковы факторы, которые следует учитывать при выборе графа DB для данных около 30 ТБ

Question

Я занимаюсь разработкой программной системы (Graph Database) для изучения взаимосвязи между несколькими компонентами. Это может привести к получению около 30 ТБ данных. Я хотел бы знать, какие факторы необходимо учитывать при выборе правильной базы данных.

Некоторые из вариантов, которые я ищу, это Apache Giraph, TitanDB. Я также задаюсь вопросом, может ли сама небольшая шкала DB, например neo4j или OrientDB, работать

Answer 1

Это очень широкий вопрос, поэтому я бы точно определил, что вы ищете, потому что размер может быть немного расплывчатым.

Я думаю, что любой приведенный ниже примерный график dbs может моделировать данные, большие.

Несколько «более подробные» вопросы, которые вы могли бы спросить себя включать:

1. Вы заботитесь о Horizontal Scaling? Если да, то вы должны смотреть на TitanDB, OrientDB или DSE Graph, потому что Neo4J (на момент написания) не масштабируется горизонтально, поэтому он ограничен размером сервера.
2. Имеет ли стандартизованный язык запрос/обход? Если да, то, возможно, вам стоит больше искать поставщиков Tinkerpop, таких как TitanDB, OrientDB, DSE Graph и другие. Если нет, то любой вариант вам подойдет.
3. Имеются ли в моих данных супер-узлы? Если да, тогда вы должны увидеть, как каждый поставщик имеет дело с супер-узлами. Некоторые поставщики shard, другие используют умные алгоритмы разбиения графа.
4. Сколько поддержки вы хотите? Если вам нужно много, то, возможно, вам стоит взглянуть на сильные корпоративные решения, такие как DSE, OrientDB или Neo4J. Neo4J в настоящее время считается самым популярным графиком db, и с ним появляется большая база поддержки.
5. Вы хотите использовать программное обеспечение с открытым исходным кодом? Если да, то TitanDB, Neo4j или OrientDB может быть для вас

Таковы лишь некоторые из вещей, которые вы можете обратить внимание при принятии лучшего решения между всеми поставщиками. Примечание: Есть много других поставщиков, которые вы могли бы рассмотреть, Blazegraph, HypergraphDB, чтобы назвать несколько.