Есть ли у R какой-либо пакет для разбора частей URL-адреса?

Question

У меня есть список URL-адресов, которые я хотел бы проанализировать и нормализовать.

Я хотел бы иметь возможность разделить каждый адрес на части, чтобы я мог идентифицировать «www.google.com/test/index.asp» и «google.com/somethingelse» как находящиеся на одном и том же сайте.

Answer 1

Поскольку parse_url() использует регулярные выражения в любом случае, мы можем также изобрести колесо и создать регулярное выражение замену для того, чтобы построить сладкий и фантазии gsub вызова.

Давайте посмотрим. URL-адрес состоит из протокола, «netloc», который может включать имя пользователя, пароль, имя хоста и компоненты порта, а также остаток, который мы счастливо убираем. Предположим, что сначала нет ни имени пользователя, ни пароля, ни порта.

• ^(?:(?:[[:alpha:]+.-]+)://)? будет соответствовать заголовок протокола (скопированный из parse_url()), мы вскрышных это далеко, если мы находим
• Кроме того, потенциальный www. префикс отбрасываются, но не захватили: (?:www\\.)?
• Anything вверх к последующему слэш будет наше полное имя хоста, которое мы фиксируем: ([^/]+)
• остальное мы игнорируем: .*$

Теперь мы подключить вместе регулярные выражения выше, и извлечение имени хоста становится:

PROTOCOL_REGEX <- "^(?:(?:[[:alpha:]+.-]+)://)?" 
PREFIX_REGEX <- "(?:www\\.)?" 
HOSTNAME_REGEX <- "([^/]+)" 
REST_REGEX <- ".*$" 
URL_REGEX <- paste0(PROTOCOL_REGEX, PREFIX_REGEX, HOSTNAME_REGEX, REST_REGEX) 
domain.name <- function(urls) gsub(URL_REGEX, "\\1", urls) 

Изменить имя хоста регулярное выражение включает (но не захват) порт:

HOSTNAME_REGEX <- "([^:/]+)(?::[0-9]+)?" 

и так далее, и и так далее, пока мы наконец не достигнем RFC-compliant regular expression for parsing URLs. Тем не менее, для домашнего использования, выше должно хватить:

> domain.name(c("test.server.com/test", "www.google.com/test/index.asp", 
       "http://test.com/?ex")) 
[1] "test.server.com" "google.com"  "test.com"  

Answer 2

Я бы отказался от пакета и использовал для этого регулярное выражение.

EDIT переформулируется после робота атаки Dason ...

x <- c("talkstats.com", "www.google.com/test/index.asp", 
    "google.com/somethingelse", "www.stackoverflow.com", 
    "http://www.bing.com/search?q=google.com&go=&qs=n&form=QBLH&pq=google.com&sc=8-1??0&sp=-1&sk=") 

parser <- function(x) gsub("www\\.", "", sapply(strsplit(gsub("http://", "", x), "/"), "[[", 1)) 
parser(x) 

lst <- lapply(unique(parser(x)), function(var) x[parser(x) %in% var]) 
names(lst) <- unique(parser(x)) 
lst 

## $talkstats.com 
## [1] "talkstats.com" 
## 
## $google.com 
## [1] "www.google.com/test/index.asp" "google.com/somethingelse"  
## 
## $stackoverflow.com 
## [1] "www.stackoverflow.com" 
## 
## $bing.com 
## [1] "http://www.bing.com/search?q=google.com&go=&qs=n&form=QBLH&pq=google.com&sc=8-1??0&sp=-1&sk=" 

Это, возможно, потребуется расширить в зависимости от структуры данных.

Answer 3

Вы можете использовать функцию пакета R HTTR

parse_url(url) 
>parse_url("http://google.com/") 

Вы можете получить более подробную информацию здесь: http://cran.r-project.org/web/packages/httr/httr.pdf

Answer 4

Опираясь на ответ R_Newbie, вот это функция, которая будет извлекать имя сервера с помощью (вектора) URL-адресов, удаляя префикс www., если он существует, и изящно игнорирует отсутствующий префикс протокола.

domain.name <- function(urls) { 
    require(httr) 
    require(plyr) 
    paths <- laply(urls, function(u) with(parse_url(u), 
              paste0(hostname, "/", path))) 
    gsub("^/?(?:www\\.)?([^/]+).*$", "\\1", paths) 
} 

parse_url функция используется для извлечения path аргумента, который дополнительно обрабатывается gsub. /? и (?:www\\.)? части регулярного выражения будут соответствовать необязательной ведущей косой чертой, за которой следует необязательный www., а [^/]+ соответствует всем, что есть после этого, но до первой косой черты - это захватывается и эффективно используется в тексте замены вызова gsub.

> domain.name(c("test.server.com/test", "www.google.com/test/index.asp", 
       "http://test.com/?ex")) 
[1] "test.server.com" "google.com"  "test.com"  

Answer 5

Если вы хотите tldextract один вариант будет использовать версию на AppEngine

require(RJSONIO) 
test <- c("test.server.com/test", "www.google.com/test/index.asp", "http://test.com/?ex") 
lapply(paste0("http://tldextract.appspot.com/api/extract?url=", test), fromJSON) 
[[1]] 
    domain subdomain  tld 
"server" "test"  "com" 

[[2]] 
    domain subdomain  tld 
"google"  "www"  "com" 

[[3]] 
    domain subdomain  tld 
    "test"  ""  "com" 

Answer 6

Там также urltools пакет, в настоящее время, что бесконечно быстрее:

urltools::url_parse(c("www.google.com/test/index.asp", 
         "google.com/somethingelse")) 

##     scheme   domain port   path parameter fragment 
## 1  www.google.com  test/index.asp     
## 2   google.com  somethingelse