Загрузите данные CSV из aws-s3 в dse Graph Loader

Question

У меня есть данные об aws-s3 (в формате csv), и я хочу загрузить эти данные в dse-графе с помощью Graph Loader. У меня есть поиск, но ничего не найдено по этой теме. возможно ли использовать dse graph Loader?

Answer 1

Вот как отображение выглядит для графа погрузчика при чтении из CSV-:

https://docs.datastax.com/en/latest-dse/datastax_enterprise/graph/dgl/dglCSV.html

Вот пример HDFS (также с CSV-файлами), S3 должны быть одинаковыми (просто поменять dfs_url:

// Configures the data loader to create the schema 
config create_schema: true, load_new: true, preparation: true 
// Define the data input sources 
// dfs_uri specifies the URI to the HDFS directory in which the files are stored. 
dfs_uri = 'hdfs://host:port/path/' 
authorInput = File.csv(dfs_uri + 'author.csv.gz').gzip().delimiter('|') 
//Specifies what data source to load using which mapper (as defined inline) 
load(authorInput).asVertices 
{ label "author" key "name" } 
// graphloader call 
./graphloader myMap.groovy -graph testHDFS -address localhost 
// start gremlin console and check the data 
bin/dse gremlin-console 
:remote config reset g testHDFS.g 
schema.config().option('graph.schema_mode').set('Development') 
g.V().hasLabel('author')