Как убедить Scala IDE распознать пакет org.apache.spark.graphx._?

Когда я пытаюсь включить Graphx в мою работу, это, кажется, что я делаю что-то неправильно, потому что Scala IDE не признает org.apache.spark.graphx._ или что-нибудь связанное с графами (!)Как убедить Scala IDE распознать пакет org.apache.spark.graphx._?

ли я что-то пропустил, когда я первый создал свой проект ? Нужно ли включать дополнительные библиотеки (как?)?

источник

2016-03-27 HoussemKhe

Вам необходимо добавить зависимость GraphX к вашему pom-файлу.

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-graphx_2.10</artifactId> 
    <version>1.6.1</version> 
</dependency>

источник

2016-03-27 05:58:37 kliew

У меня еще несколько вопросов, пожалуйста! Один: я использовал этот каталог удаленного архетипа из книги, чтобы создать проект maven (https://github.com/spark-in-action/scala-archetype-sparkinaction/raw/master/archetype-catalog.xml). Является ли Scala IDE или Spark своим собственным стандартным каталогом, который я могу безопасно использовать (вместо приведенного выше) для правильного создания моих проектов maven? Два: как я могу изменить уровень журнала внутри консоли IDE? Я использовал sc.setLogLevel («ERROR»), но он все еще показывает мне INFO и WARN! – HoussemKhe

Я рекомендую управлять зависимостями вручную. Начните с 'spark-core' и' spark-graphx' и добавьте дополнительные библиотеки по мере необходимости. – kliew

Попробуйте 'import org.apache.log4j.Logger; import org.apache.log4j.Level; Logger.getLogger ("орг"). SetLevel (Level.ERROR) ' – kliew

В настоящее время имеется опция --packages для оболочки искры. Вы используете его вот так:

spark-shell --packages [maven:coordinates:here]

источник

2016-03-28 16:47:31

Как убедить Scala IDE распознать пакет org.apache.spark.graphx._?

ответ

Смежные вопросы