Как использовать deeplearning4j Word2vec с Spark?

Question

При использовании spark-submit, мне нужно отправить зависимости с помощью -пакетов. Какой пакет я должен использовать?

Я попытался сделать убер банку, который содержит зависимости, но я получаю следующее сообщение об ошибке:

java.lang.IllegalArgumentException: Please specify an existing file 

ошибка является результатом следующего кода:

String path = "hdfs:///user/data.txt"; 
SentenceIterator iter = new LineSentenceIterator(new File(path)); 

Answer 1

Deeplearning4j на самом деле имеет свой собственной искровой версии word2vec. Ознакомьтесь с нашими примерами здесь: https://github.com/deeplearning4j/deeplearning4j/blob/master/deeplearning4j-scaleout/spark/dl4j-spark-nlp/src/test/java/org/deeplearning4j/spark/models/embeddings/word2vec/Word2VecTest.java#L57