как использовать функцию «отображения» в scala 2.11 с ноутбуком Spark 2.0 в dsx

Question

В dsx есть способ использовать «дисплей» в scala 2.11 с ноутбуком Spark 2.0 (я знаю, что это можно сделать на питоне ноутбук с pixiedust). Например:

display(spark.sql("SELECT COUNT(zip), SUM(pop), city FROM hive_zips_table 
        WHERE state = 'CA' GROUP BY city ORDER BY SUM(pop) DESC")) 

Но я хочу сделать то же самое в записной книжке scala. В настоящее время я просто делаю команду ниже, что только дают данные в табличном формате, без графики и т.д.

spark.sql("SELECT COUNT(zip), SUM(pop), city FROM hive_zips_table 
      WHERE state = 'CA' GROUP BY city ORDER BY SUM(pop) DESC").show() 

Answer 1

Примечание:

• PixieDust в настоящее время работает с Спарком 1.6 и Python 2.7.
• PixieDust в настоящее время поддерживает Свечу DataFrames, Свечи GraphFrames и панда

Ссылка: - https://github.com/ibm-cds-labs/pixiedust/wiki

Но если вы можете использовать Спарк 1.6, здесь быстрый путь вокруг, чтобы использовать эту причудливую функцию отображения: -

Вы можете пойти наоборот, так как Pixidust позволяет использовать scala и python в одном python-ноутбуке с магией маны sc% scala.

https://github.com/ibm-cds-labs/pixiedust/wiki/Using-Scala-language-within-a-Python-Notebook

Шаг 1. Создать ноутбук с питоном 2 и искровых 1.6 Установить pixidust и импортировать его

!pip install --user --no-deps --upgrade pixiedust 
import pixiedust 

Определите переменные или ваш dataframe в Scala под

%%scala 
import org.apache.spark.sql._ 

print(sc.version) 

val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
val __df = sqlContext.read.json("people.json") 

__df.show() 

или

делать что угодно, чтобы создать свой dataframe

val __df = dataframe1.sql("SELECT COUNT(zip), SUM(pop), city FROM hive_zips_table 
     WHERE state = 'CA' GROUP BY city ORDER BY SUM(pop) DESC").show() 

Шаг 2: В отдельном счете ячейки следующий доступ к ф.р. переменной в вашем питона оболочки.

display(__df) 

Ссылка на мой образец ноутбука: -

• IBM ноутбуков: https://apsportal.ibm.com/analytics/notebooks/095520cb-c9ff-4f4a-a829-f458f20b4505/view?access_token=d4de7944ad7d6bfc179632a3036a7971c130e54d1a30ecf5df34ece8c4f8c3b5
• Github: https://github.com/charles2588/bluemixsparknotebooks/blob/master/pixiedust/PixiedustTestCase.ipynb

Спасибо, Чарльз.