• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    使用shell脚本找出网站的空页面和404错误页面

    早之前记的一个笔记了,之前只是记录了两句代码,放出来的话也是一个低质量的页面,于是设置为了仅自己可见,今晚抽空补充一下。

    记得当的情景应该是提交sitemap时百度老提示有错误的URL,导致sitemap不能正常被抓取,于是在想办法解决这个问题,所以才有下面这些笔记:用shell批量找出网站空页面和404错误页面。

    废话不多说,直接上shell代码:

    复制代码 代码如下:

    time cat sitemap.txt|while read line;do curl -l $line -m 5 --connect-timeout 5 -o /dev/null -s -w "$line "%{http_code}" "%{size_download}"\n";done

    前面加了一个time是为了看看代码执行所花的时间

    %{http_code}意思是返回HTTP状态码,通过这个状态码我们就能知道该链接是正常的200链接,还是404错误链接;

    %{size_download}意思是返回当前页面的大小,如果值太小的话,说明这些页面很有可能是低质量的空页面,得想办法剔除掉。

    上一篇:Shell实用技巧:快速去除字符串中的空格
    下一篇:shell脚本实现批量采集爱站关键词库
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    使用shell脚本找出网站的空页面和404错误页面 使用,shell,脚本,找出,网,