spark-dataframe

2зной

1ответ

Spark: Как сгруппировать по различным значениям в DataFrame

У меня есть данные в файле в следующем формате: 1,32 1,33 1,44 2,21 2,56 1,23 код Я выполнения является следующее: val sqlContext = new org.apache.spark.sql.SQLContext(sc) import spark.impli

apache-spark apache-spark-sql spark-dataframe 2017-01-10

---

0зной

2ответ

Как предсказать кластер kmeans с Spark org.apache.spark.ml.clustering. {KMeans, KMeansModel}

У меня проблема с двумя различными реализациями MLLIB (org.apache.spark.ml. И org.apache.spark .mllib) и KMeans. Я использую новую реализацию org.apache.spark.ml, которая использует Dataframes, но я б

scala apache-spark spark-dataframe k-means apache-spark-mllib 2017-01-10

---

1зной

1ответ

PySpark .groupBy() и .count() медленно на относительно небольшом Dataframe

OK Позвольте мне сначала описать, как я создаю Dataframe и что в нем. У меня есть один набор, являющийся файл HTML документов и один набор, являющийся файл метаданных для этих HTML-документов Для оба

python-3.x apache-spark pyspark spark-dataframe 2017-01-12

---