Преобразование строк с использованием Spark

Question

Я изучаю Spark и пытаюсь написать довольно простое приложение. В качестве вклада у меня есть строка журнала, который выглядит как

INFO - {timestamp} - {path} - {json message} 
INFO - 124534234534534 - test.class - {"message": "something happened"] 

Я хочу, чтобы передать его в ElasticSearch. Поэтому мне нужно взять {} временной метки и поместить его в новое поле {JSon сообщения}, поэтому он должен выглядеть

{"timestamp": "1234343132", "message": "something happened"} 

Может кто-нибудь помочь мне с этой трансформацией с использованием Java?

Answer 1

1. Создать Function<String, String> который принимает строку журнала и возвращает JSON строку.

   Function<String, String> f = new Function<String, String>() { 
       public String call(String s) { return ...; } 
   } 
   

2. Чтение данных с использованием SparkContext.textFile

   JavaSparkContext sc = ...; 
   JavaRDD<String> rdd = sc.textFile(...) 
   

3. map созданный РДД с помощью функции, определенной в пункте 1.

   rdd.map(f);