2015-01-16 3 views
2

Я пытаюсь использовать Neo4j csv batch-importer для загрузки больших линий csv (~ 20 мил). Я зациклился на том, как разбирать csv, чтобы использовать импортера. Это то, что CSV выглядит следующим образом:Преобразование плоского csv для batch_importer

CUSTOMER_NAME,TRANSACTION_DATE,TRANSACTION_NO,TRANSACTION_TYPE,COMPANY_TYPE,COMPANY_NAME,STREETNUM,STREETNAME,CITY,STATE,ZIPCODE 

Структура графа выглядит следующим образом - я создавал график в браузере (слишком медленно с этим много линий):

MERGE (state:STATE{STATE: {line.STATE}})     
MERGE (company:COMPANY{COMPANY_NAME: line.COMPANY_NAME, COMPANY_TYPE: line.COMPANY_TYPE, STREETNUM: line.STREETNUM, STREETNAME: line.STREETNAME}) 
MERGE (customer:CUSTOMER{CUSTOMER_NAME: line.CUSTOMER_NAME})      
MERGE (zipcode:ZIPCODE{ZIPCODE: line.ZIPCODE}) 
MERGE (customer)-[:TRANSACTION{TRANSACTION_NO: line.TRANSACTION_NO, TRANSACTION_TYPE: line.TRANSACTION_TYPE}]->(company)-[:LOCATION]-(zipcode) 
MERGE (state)-[:CITY{CITY: line.STATE}]-(zipcode) 

Сколько версии CSV сделать Мне нужно использовать с batch-importer? Могу ли я воссоздать эту структуру графика всего за два csvs (node ​​/ rels)? Если это так, я смущен структурой этих конкретных csvs. Например:

nodes.csv: 
COMPANY:string:COMPANY,l:label,COMPANY:string:COMPANY_NAME,COMPANY:string:COMPANY_TYPE,COMPANY:string:STREETNUM,COMPANY:string:STREETNAME 

^где я могу включить другие узлы?

rels.csv 
STATE:string:STATE,ZIPCODE:string:ZIPCODE,CITY,CITY:string:CITY 

^Как включить полный путь (2+ rels) или несколько отношений?

ответ

0

Импортер партии neo4j требует наличия узлов и ребер в отдельных файлах csv. Предлагаю вам обработать исходный файл для генерации файлов nodes.csv и edge.csv только с узлами и ребрами в каждом файле.

Вы также можете указать несколько файлов для узлов и ребер при использовании импортера, например: import.bat test.db "nodes1.csv,nodes2.csv" "edges1.csv,edges2.csv"

Надежды, что помогает.

+0

Это шаг в правильном направлении. Я не могу получить свойства узлов для заполнения, и он пропускает создание отношений. – user2338089