Как управлять границей URL-адреса искателя?

Question

Ребята

У меня есть следующий код для добавления посещенных ссылок на мой искатель. После извлечения ссылок у меня есть для петли, которая заполняет каждую деталь href tags.

И после того, как я посетил ссылку, откройте ее, я добавлю URL-адрес посетившей переменной коллекции ссылок, указанной выше.

private final Collection<String> urlForntier = Collections.synchronizedSet(new HashSet<String>()); 

Реализация искателя mulithread и предположим, если я посетил 100000 URLs, если я не прекратил искателю он будет расти с каждым днем. и это создаст проблемы с памятью? Пожалуйста, какой вариант мне нужно обновить, не создавая несогласованность потоков?

Заранее благодарен!

Answer 1

Самый удобный способ для современных систем обхода - использовать базы данных NoSQL.

Это решение заметно медленнее, чем HashSet. Именно поэтому вы можете использовать различные стратегии кэширования, как Redis, или даже Bloom filter s

Но в том числе и специфическую природу URL, я хотел бы рекомендовать структуру данных Trie, что дает вам много возможностей для манипулирования и поиска по строке адреса , (Обсуждение реализации Java можно найти на этом Stackoevrflow topic)

Answer 2

1. По вопросу, я бы рекомендовал использовать Redis заменить использование коллекции. Это база данных в памяти для хранения структуры данных и супер быстро вставлять и извлекать данные с поддержкой всех стандартных структур данных. В вашем случае Set и вы можете проверить наличие ключа в наборе с командой SISMEMBER).

2. Apache Nutch также полезно изучить.