Как вставить огромный объем данных в Neo4j

Question

Я пытаюсь вставить данные Neo4j, связанные с traceroute. У меня около 55K уникальных узлов, а трассировки - около 80K. Я использую Python и neo4jrestclient для связи с db. Файл с traceroutes имеет следующий синтаксис:

83.212.7.42 ;; 83.212.7.41 ;; 62.217.100.63 ;; 83.97.88.69 ;; 62.40.112.215 ;; 62.40.98.150 ;;

Мой код:

from neo4jrestclient.client import GraphDatabase 
from neo4jrestclient import client 


db = GraphDatabase("...") 

node = db.labels.create("ipNode") 



with open("traceroutes") as input: 

for line in input: 
    l= zip(line.split(';;')) 
    i=len(l) 
    try: 
     prev=l[0][0] 
     queryProbe = 'MERGE (a:ipNode7 {ip:"' + prev + '"})' 
     db.query(queryProbe, returns=(client.Node, str, client.Node)) 
     for counter in range(1,i-1): 
      next = l[counter][0] 
      queryMergeNode = 'MERGE (b:ipNode7 {ip:"' + next + '"})' 
      db.query(queryMergeNode, returns=(client.Node, str, client.Node)) 
      queryUpdateRelationship= 'MATCH (a:ipNode7 {ip:"' + prev + '"}),(b:ipNode7 {ip:"' + next + '"}) WHERE NOT (a)-[:precede]-(b) WITH a,b CREATE (a)-[:precede]->(b)' 
      db.query(queryUpdateRelationship, returns=(client.Node, str, client.Node)) 
      prev=next 
    except Exception: 
     print "error" 

Проблема заключается в том, что после получения 20K узлов вставлена ​​правильно, скорость вставки замедляет быстро, и я не могу поставить что-нибудь еще.

Answer 1

У вас есть уникальное ограничение на: ipNode7 (ip)? Если вы этого не сделаете, тогда db будет принудительно запускать проверку метки по всем узлам с помощью этой метки для тех, которые имеют данный ip. Полученное поведение кажется очень похожим на то, с чем вы сталкиваетесь, скорость вставки резко уменьшается по мере увеличения количества узлов этой метки.