Ошибка при настройке eventhubs.checkpoint.dir в искровом потоковом задании из концентратора событий

Question

Я пытаюсь получить данные о событиях событий, запустив локальное искрообразование. У меня возникла проблема с настройкой конфигурации концентратора событий для eventhubs.checkpoint.dir. Я попытался установить ниже значения

• wasbs://container_name@storage_name.blob.core.windows.net/
• https://container_name@storage_name.blob.core.windows.net/
• https://storage_name.blob.core.windows.net/continer_name/

Каждый в результате подобных ошибок, как следующему:

ERROR ReceiverTracker: Deregistered receiver for stream 0: Restarting receiver with delay 2000ms: Error handling message; restarting receiver - java.io.IOException: No FileSystem for scheme: https 
    at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421) 
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2428) 
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:88) 
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2467) 
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2449) 
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:367) 

Answer 1

Вы можете установить eventhubs.checkpoint. dir к строковому значению, которое было бы правильным r имя. Например, я установил его в «/ myeventhubspark». Папка будет автоматически создана в контейнере по умолчанию вашего Spark-кластера. Обязательно предварять имя папки с косыми чертами, как это -

«eventhubs.checkpoint.dir» -> «/ myeventhubspark»