Как проверить список произвольных URL-адресов?

Question

Итак, у меня есть список тысяч URL-адресов, к которым можно получить доступ в моем приложении, многие из которых являются небезопасными (в настоящее время отключена ATS), а также некоторые из них перенаправляются на несколько других URL-адресов. Что мне нужно сделать, так это найти способ автоматизации этого процесса, чтобы выплескивать список небезопасных ссылок. У кого-нибудь есть идеи?

Answer 1

Вы можете написать вызов nscurl для запуска через URL-адреса. В принципе, со списком адресов в текстовом файле, как так:

urls.txt

https://www.apple.com 
https://www.reddit.com 
http://snopes.com 
http://www.yahoo.com 
https://www.google.com 

вы можете создать скрипт

ats_check.sh

#!/bin/sh 

while read URL 
do 
    nscurl --ats-diagnostics ${URL} 2>/dev/null > ats_results.txt 

    if grep -q "Result : FAIL" ats_results.txt; then 
     echo "${URL} failed ATS checks. run 'nscurl --ats-diagnostics ${URL}' for more details." 
    else 
     # echo "${URL} passed ATS checks." 
     echo "." 
    fi 
done < urls.txt 

rm ats_results.txt 

В принципе, если он не прошел ЛЮБОЙ тест в вызове nscurl, он отобразит URL-адрес.

Обратите внимание, что для nscurl требуется Mac OS 10.11 или новее.

Answer 2

Закончено создание приложения CLI, которое использует WebView для загрузки всех URL-адресов в файл данных и сброса всех URL-адресов этой ошибки в текстовый файл.