Спарк анонимная функция байткодом

мне любопытно на них, является ли способ увидеть байткод анонимного класса, который был создан в качестве [238] в среде Спарк оболочки, такие какСпарк анонимная функция байткодом

org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[238].

источник

2016-11-28 Tuan Do

Почему вам нужен байткод? Чего вы пытаетесь достичь? –

Причиной этого в основном является любопытство. Проверка DAGScheduler на Spark Web UI иногда дает мне цепочку из 3 анонимных классов только для одного простого '.map'. Мне кажется, что бесполезно перечислять этот анонимный класс, не давая никаких подробностей. –

MapPartitionsRDD[238] означает, что это 239-й (нумерация начинается с 0) RDD, созданная в этом контексте. Это не означает, что анонимный класс был создан.

SparkContext содержит информацию о количестве РДА в этом контексте

источник

2016-11-29 23:15:31

Спарк анонимная функция байткодом

ответ

Смежные вопросы