Самый простой способ извлечь URL-адреса с html-страницы только с помощью sed или awk

Question

Я хочу извлечь URL-адрес из тегов привязки html-файла. Это необходимо сделать в BASH, используя SED/AWK. Нет, пожалуйста.

Что такое самый простой способ сделать это?

Answer 1

пример, так как вы не предоставили какой-либо образец

awk 'BEGIN{ 
RS="</a>" 
IGNORECASE=1 
} 
{ 
    for(o=1;o<=NF;o++){ 
    if ($o ~ /href/){ 
     gsub(/.*href=\042/,"",$o) 
     gsub(/\042.*/,"",$o) 
     print $(o) 
    } 
    } 
}' index.html 

Answer 2

Вы можете сделать это довольно легко с помощью следующего регулярного выражения, которое довольно хорошо находящих URL-адресов:

\b(([\w-]+://?|www[.])[^\s()<>]+(?:\([\w\d]+\)|([^[:punct:]\s]|/))) 

я взял это от John Gruber's article on how to find URLs in text.

Это позволяет найти все URL-адреса в файле f.html следующим образом:

cat f.html | grep -o \ 
    -E '\b(([\w-]+://?|www[.])[^\s()<>]+(?:\([\w\d]+\)|([^[:punct:]\s]|/)))' 

Answer 3

Я предполагаю, что вы хотите, чтобы извлечь URL из некоторого HTML текста, а не анализировать HTML (как один из комментариев предлагает). Верьте или нет, у кого-то уже есть done this.

OT: sed website имеет лот полезной информации и многих интересных/сумасшедших сценариев. Вы можете даже playSokoban в sed!

Answer 4

Вы просили об этом:

$ wget -O - http://stackoverflow.com | \ 
    grep -o '<a href=['"'"'"][^"'"'"']*['"'"'"]' | \ 
    sed -e 's/^<a href=["'"'"']//' -e 's/["'"'"']$//' 

Это грубый инструмент, поэтому все обычные предупреждения о попытке разбора HTML с применить регулярные выражения.

Answer 5

Вы также можете сделать что-то вроде этого (при условии, вы установили рысь) ...

Lynx версии < 2.8.8

lynx -dump -listonly my.html 

Lynx версии> = 2.8.8 (любезно @condit)

lynx -dump -hiddenlinks=listonly my.html 

Answer 6

Я сделал несколько изменений в Greg Bacon Solution

cat index.html | grep -o '<a .*href=.*>' | sed -e 's/<a /\n<a /g' | sed -e 's/<a .*href=['"'"'"]//' -e 's/["'"'"'].*$//' -e '/^$/ d' 

Это исправляет две проблемы:

1. Мы соответствующие случаи, когда якорь не начинается с HREF в качестве первого атрибута
2. Мы охватываем возможность иметь несколько якорей в одной и той же линии

Answer 7

grep "<a href=" sourcepage.html 
    |sed "s/<a href/\\n<a href/g" 
    |sed 's/\"/\"><\/a>\n/2' 
    |grep href 
    |sort |uniq 

1. Первый grep ищет строки, содержащие URL-адреса. Вы можете добавить больше элементов после того, как вы хотите посмотреть только на местных страницах, поэтому нет http, но относительный путь.
2. Первая СЭД добавит новую строку перед каждой A HREF URL-адрес тега с \ п
3. Второй СЭД сократит каждый URL после второго "в строке, заменив его на /а тег с новой строки Оба SEDs даст вам каждый URL на одной строке, но есть мусор, так
4. 2-я Grep HREF очищает беспорядок
5. рода и уник даст вам один экземпляр каждого существующего URL присутствуют в источнике.html

Answer 8

Вы можете попробовать:

curl --silent -u "<username>:<password>" http://<NAGIOS_HOST/nagios/cgi-bin/status.cgi|grep 'extinfo.cgi?type=1&host='|grep "status"|awk -F'</A>' '{print $1}'|awk -F"'>" '{print $3"\t"$1}'|sed 's/<\/a>&nbsp;<\/td>//g'| column -c2 -t|awk '{print $1}' 

Answer 9

С Xidel - HTML/XML data extraction tool, это может быть сделано с помощью:

$ xidel --extract "//a/@href" http://example.com/ 

С преобразованием в абсолютные адреса:

$ xidel --extract "//a/resolve-uri(@href, base-uri())" http://example.com/ 

Answer 10

Подойдите с первым проходом заменив начало URL (http) на новую строку (\n http). Тогда вы сами убедитесь, что ваша ссылка начинается в начале строки и является единственным URL-адресом на линии.

Остальное должно быть легко, вот пример:

sed "s/http/\nhttp/g" <(curl "http://www.cnn.com") | sed -n "s/\(^http[s]*:[a-Z0-9/.=?_-]*\)\(.*\)/\1/p"

alias lsurls='_(){ sed "s/http/\nhttp/g" "${1}" | sed -n "s/\(^http[s]*:[a-Z0-9/.=?_-]*\)\(.*\)/\1/p"; }; _'

Answer 11

Расширяя kerkael's answer:

grep "<a href=" sourcepage.html 
    |sed "s/<a href/\\n<a href/g" 
    |sed 's/\"/\"><\/a>\n/2' 
    |grep href 
    |sort |uniq 
# now adding some more 
    |grep -v "<a href=\"#" 
    |grep -v "<a href=\"../" 
    |grep -v "<a href=\"http" 

Первый Grep я добавил удаляет ссылки на локальные закладки.

Второй удаляет относительные ссылки на верхние уровни.

Третий удаляет ссылки, которые не начинаются с http.

Выберите, какой из них вы используете в соответствии с вашими конкретными требованиями.

Answer 12

Вот как я попробовал это для лучшего просмотра, создаю файл оболочки и даю ссылку как параметр, он создаст файл temp2.txt.

a=$1 

lynx -listonly -dump "$a" > temp 

awk 'FNR > 2 {print$2}' temp > temp2.txt 

rm temp 

>sh test.sh http://link.com 

Answer 13

Это мой первый пост, так что я стараюсь сделать лучше объяснить, почему я отправляю этот ответ ...

1. С первых 7 большинством голосовавших ответов, 4 включают GREP, даже когда в post явно говорит «использование только sed или awk».
2. Даже если сообщение требует «Нет perl please», из-за предыдущей точки и потому, что используйте регулярное выражение PERL внутри grep.
3. и потому, что это самый простой способ (насколько я знаю, и это было ), чтобы сделать это в BASH.

Итак, вот самый простой скрипт из GNU grep 2.28:

grep -Po 'href="\K.*?(?=")' 

О переключателе \K, не информация была основана в МАН и INFO страниц, поэтому я пришел here за ответ .... переключатель \K изжить предыдущие символы (и сам ключ) , Имейте в виду, следуя советам на страницах руководства: «Это очень экспериментально, и grep -P может предупреждать о нереализованных функциях».

Конечно, вы можете изменить сценарий, чтобы удовлетворить ваши вкусы и потребности, но я нашел его довольно просто для того, что было предложено в этой должности, а также для многих из нас ...

Я надеюсь, что люди вы это очень полезно.

спасибо !!!