Скала - Resultset искры Dataframe

Question

я запрашивая MySQL таблицу

val url = "jdbc:mysql://XXX-XX-XXX-XX-XX.compute-1.amazonaws.com:3306/pg_partner" 
val driver = "com.mysql.jdbc.Driver" 
val username = "XXX" 
val password = "XXX" 
var connection:Connection = DriverManager.getConnection(url, username, password) 
val statement = connection.createStatement() 
val patnerName = statement.executeQuery("SELECT id,name FROM partner") 

я получаю мой результат в patnerName, но мне нужно, чтобы быть преобразованы в Dataframe.

я могу напечатать данные, используя код:

while (patnerName.next) { 
    val id = patnerName.getString("id") 
    val name = patnerName.getString("name") 
    println("id = %s, name = %s".format(id,name)) 
} 

Теперь Как я конвертировать patnerName в DataFrame?

Answer 1

Как насчет непосредственного использования функциональности Spark?

val jdbcDF = spark.read 
    .format("jdbc") 
    .option("url", "jdbc:mysql://XXX-XX-XXX-XX-XX.compute-1.amazonaws.com:3306/") 
    .option("dbtable", "pg_partner") 
    .option("user", "XXX") 
    .option("password", "XXX") 
    .load() 

Код взято из here.