Я использую искровые потоковый и сохранение обработанного вывода в data.csv файлСпарка 2 приложения на то же время
val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")
JavaStreamingContext jssc = new JavaStreamingContext(conf, new Duration(1000))
JavaReceiverInputDStream<String> lines = jssc.socketTextStream("localhost", 9999);
В то же время я хотел бы прочитать вывод NetworkWordCount data.csv вместе с другой NewFile и процесс снова одновременно
Мой вопрос здесь
можно ли запустить две свечи приложений одновременно? Можно ли подать искру заявку через самого код
Я использую макинтош, сейчас я подаю искровое приложение из папки искровой с помощью следующей команды
bin/spark-submit --class "com.abc.test.SparkStreamingTest" --master spark://xyz:7077 --executor-memory 20G --total-executor-cores 100 ../workspace/Test/target/Test-0.0.1-SNAPSHOT-jar-with-dependencies.jar 1000
или просто без искры: IP: порт и исполнитель память, общий сердечник
bin/spark-submit --class "com.abc.test.SparkStreamingTest" --master local[4] ../workspace/Test/target/Test-0.0.1-SNAPSHOT-jar-with-dependencies.jar
исполнитель, а другое приложение, которое прочитать текстовый файл для пакетной обработки, как следует
bin/spark-submit --class "com.abc.test.BatchTest" --master local[4] ../workspace/Batch/target/BatchTesting-0.0.1-SNAPSHOT-jar-with-dependencies.jar
, когда я запустить оба услугу Applications SparkStreamingTest и BatchTest отдельно и работает нормально, но когда я пытался работать как одновременно, я получаю следующую ошибку
В настоящее время я использую искру автономным режима
WARN AbstractLifeCycle: FAILED [email protected]:4040: java.net.BindException: Address already in use
java.net.BindException: Address already in use
Любая помощь очень appriciated .. я полностью из моего ума
Есть ли причина, по которой сначала написать вывод сетевого захвата и прочитать его снова, чтобы обработать его? (т. е. вам нужны данные с сырым захватом?) Существует несколько вариантов, но сначала дайте мне знать об этом требовании. – maasg
какая искра версия вы используете? – maasg
Spark Version 1.0.2, я пытаюсь кэшировать данные во время потоковой передачи потоковая длительность - это 1 с, я обрабатываю данные, полученные за одну секунду, и сохраняю результат в кеше и для следующего сеанса потоковой передачи. Я попытался извлечь кешированный результат, но его пустым, поэтому я пытаюсь сохранить вывод – mithra