Набор данных для нормализации URL-адресов

Question

Я работаю над проектом для нормализации URL-адресов. (То есть, различные URL-адреса должны отображаться на одной и той же веб-странице, а избыточность должна быть уменьшена, как поисковая система).

Так что я бы хотел, чтобы набор данных содержал разные URL-адреса, чтобы проверить мой метод. Просьба указать ссылки для набора данных нормализации.

Я реализую этот проект на C#, и мне бы хотелось ваши предложения. Заранее спасибо.

Answer 1

С тех пор как вы задали вопрос I'd like your suggestions, оставляя свой вопрос очень открытым и таким образом открытым, какое предложение вы можете получить, я продолжу и дам вам свои предложения. Хотя я признаю, что не уверен на 100%, какую проблему вы хотите решить? Вы запрашиваете предложение по программе/коду? Стратегия настройки такого проекта? или вы хотите собрать вдохновение/идею и улучшить свой существующий рабочий процесс? Если вы ищете эту третью вещь, я бы предложил взглянуть на два сценария, вдохновленные лекцией, которую однажды дал один из моих учителей искусственного интеллекта. Давайте погружение на мгновение, чтобы как Ant колонии самоорганизуются:

• сверху вниз: фантастика Представьте себе королеву в antcology назначение для каждого муравья своих маршрутов к югу от колоний и, таким образом, нормализующей множественных трассировка маршрутов, которые все разновидности муравьев берут на себя в том же месте, то, похоже, вы хотите объединить муравьев вместе, и пусть каждая группа использует только один маршрут к своим целям и удаляет возможные повторяющиеся маршруты. Это один из способов повышения эффективности их маршрутов. На самом деле муравьи фактически работают по-разному:

• снизу вверх: реальность: Один муравей имеет мало смысла, но когда целая колония муравьев является исследования, организация раскрывает. Thi sis, потому что сами муравьи следуют за запахами следов других муравьев, таким образом следуя друг за другом и в конечном счете находят свой путь в гнездо. Таким образом, умность не должна поступать сверху/из центральной базы данных, но крошечный бит интеллекта, встроенный в каждый муравей, сделает тот же путь повторно используемым. >> Таким образом, вы можете подумать о создании своей техники нормализации в каждой гиперссылке, которая должна быть нормализована.

Я надеюсь, что это может дать вам предложения вы хотели, в противном случае, если ваш вопрос не стратегия, основанная, но конкретный код-проблема, связанная, задать вопрос с программным кодом в нем, что зачастую гораздо легче решить, чем найти лучшая стратегия. Удачи! Мои 2 цента.