Я использую flume + kafka, чтобы поместить данные журнала в hdfs. Мой тип данных раковины - Avro. В схеме avro (.avsc) имеется 80 полей в виде столбцов. Так что я создал внешнюю таблицу как этот CREAT
Я пишу простой инструмент Java, чтобы сбрасывать содержимое темы kafka на консоли. Значением записи Кафки является объект Avro. Я хочу, чтобы иметь возможность сбрасывать данные Avro в каком-то челове
Я пытаюсь написать приложение Spring Boot, которое запускает запрос Spark SQL на главный сервер Spark. Вот код, который должен выполнить запрос: public class SparkJob {
public void run() {
Немного о различных форматах данных, которые более или менее подходят для работы с Hadoop, кажется, что Apache Avro выглядит неплохой вариант, поскольку он является разделяемым форматом контейнера. Та