如何确定是否存在带有shell脚本的网页？

Question

我正在尝试制作一个程序，可以将一系列的漫画扫描转换成一个pdf文件，我不想不得不尝试下载图片来确定我是否有正确的url。有没有shell脚本命令可以用来检查网页是否存在？

Answer 1

在*NIX下，您可以使用curl发出一个简单的HEAD请求(HEAD只请求头部，而不是页面正文)：

curl --head http://myurl/

然后，您可以只使用第一行，其中包含HTTP状态代码(200 OK、404 Not Found等)：

curl -s --head http://myurl/ | head -n 1

然后检查你是否得到了一个好的响应(状态码是200或3**)：

curl -s --head http://myurl/ | head -n 1 | grep "HTTP/1.[01] [23].."

如果状态码正常，这将输出第一行，如果状态码不正常，则输出nothing。您也可以通过管道将其发送到/dev/null以获得任何输出，并使用$?来确定它是否正常工作：

curl -s --head http://myurl/ | head -n 1 | grep "HTTP/1.[01] [23].." > /dev/null
# on success (page exists), $? will be 0; on failure (page does not exist or
# is unreachable), $? will be 1

编辑 -s只是告诉curl不要显示“进度条”。

Answer 2

使用cURL获取状态代码并检查所需的值。

status=$(curl -s --head -w %{http_code} http://www.google.com/ -o /dev/null)
echo $status

Answer 3

首先，确保不需要任何授权，提供用户名和密码issue.If a shell script file (checkURL.sh )，然后粘贴以下代码。

希望这能对你有所帮助。

checkURL.sh

yourURL="http://abc-repo.mycorp.com/data/yourdir"

if curl --output /dev/null --silent --head --fail "$yourURL"
then
    echo "This URL Exist"
else
    echo "This URL Not Exist"
fi

它在Nexus和其他存储库中为我工作。