Я экспериментирую с помощью Giraph. Для запуска алгоритмов в Giraph мне нужны данные графика в формате ввода вершин. Почти все доступные Big Data онлайн находятся в формате Edge List Format. Я написал код на Java для преобразования этого формата Edge List в VertexInputFormat. Это работает для меньших графов с почти 800 к краями. Тем не менее, для графика, который мне нужен, каждый раз, когда я запускаю программу, мне дают Недостаток места в куче. Я попытался увеличить размер кучи до максимума. Тем не менее ошибка продолжалась.Преобразование данных графа из формата ввода границы в формат ввода вершин
Файл, на котором я работаю, составляет около 15 ГБ.
Я не знаю много о том, как алгоритмы (PageRank, SingleSourceShortestPath и т. Д.) Написаны в Giraph, но я знаю, что все они берут граф в VertexInputFormat в качестве входных данных.
помощь я ищу это:
- Оптимизированный код для преобразования EdgeInputFormat в VertexInputFormat (или)
- Любой Интернет инструмент, который может помочь в этом преобразовании (или)
- алгоритм PageRank, который принимает вход EdgeInputFormat.
Я загрузил Giraph с официальной страницы, и он уже скомпилирован и доступен снимок. Я понял, что это снимок всех алгоритмов, реализованных по умолчанию. Они также доступны в папке '$ GIRAPH_HOME/giraph-examples /../ org/apache/giraph/examples'. Все алгоритмы в этой папке принимают входные данные в VertexInputFormat. Вы упомянули API EdgeInputFormat. Не могли бы вы рассказать об этом? Спасибо за беспокойство. –
Вы можете проверить папку giraph-core /.../ org/apache/giraph/io/formats для всех доступных входных форматов. Когда вы запускаете программу, которую вы просто говорите -eif (eif означает ввод краев форматы) и -eip (путь ввода края) вместо -vif и -vip. И вы также можете реализовать свои собственные форматы ввода. –
saleem