Как я могу загрузить данные csv в куст, используя Spark dataframes?

Question

Я пытаюсь загрузить данные из файла csv в Hive. Я использую JAVA API искры для этого. Я хочу знать, как я могу загружать данные в куст, используя искровые информационные кадры.
Вот что я пытаюсь сделать это с помощью JSON:

import org.apache.spark.SparkConf; 
import org.apache.spark.api.java.JavaSparkContext; 
import org.apache.spark.sql.SQLContext; 
public class first { 
public static void main (String[] args) 
{ 
    String inputFileName = "samples/big.txt" ; 
    String outputDirName = "output" ; 

    SparkConf conf = new SparkConf().setAppName("org.sparkexample.WordCount").setMaster("local"); 
    JavaSparkContext context = new JavaSparkContext(conf); 
    @SuppressWarnings("deprecation") 
    SQLContext sc = new SQLContext(context); 
    DataFrame input = sc.jsonFile(inputFileName); 
    input.printSchema(); 
} 
} 

Но не знаю, как сделать это с помощью CSV-файла. Я имею некоторое представление о Spark-csv, предоставленном databricks.
Пожалуйста, дайте мне знать, как я могу это сделать.

Answer 1

На искру 2.xx CSV построен в (нет необходимости в упаковке) Try читать так:

SparkSession spark = SparkSession 
.builder() 
.appName("org.sparkexample.WordCount") 
.master("local[*]") . 
.enableHiveSupport() 
.getOrCreate(); 
DataFrame input = spark.read.csv(inputFileName) 

Вы также можете добавить параметры, например:

DataFrame input = spark.read.option("header","true").csv(inputFileName) 

рассмотрит первая строка должна быть заголовком и соответственно содержать названия столбцов