• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    Python 批量下载阴阳师网站壁纸

    代码复制可直接使用,记得pip install下载requests和bs4

    最终版本

    # 引入系统类库用于打开关闭文件
    import sys
    # 使用文档解析类库
    from bs4 import BeautifulSoup
    # 使用网络请求类库
    import requests
    
    #图片保存目录
    path = 'D:/阴阳师' 
    #阴阳师壁纸网站
    html_doc = "https://yys.163.com/media/picture.html" 
    
    # 请求
    requests_html_doc = requests.get(html_doc).text
    # 正则匹配所有href地址
    regex = re.compile('.*?href="(.*?)2732x2048.jpg" rel="external nofollow" ')
    urls = regex.findall(requests_html_doc)
    
    # set集合可以防止下载的图片重复
    result = set()
    for i in urls:
        result.add(i)
    
    # 计数器用于图片命名
    num = 0
    
    # 文件路径、操作模式、编码  # r''
    # 打开文件录入图片
    f = open(r'result.txt', 'w', encoding='utf-8')
    for a in urls:
        try:
            image_data = requests.get(a).content
            image_name = '{}.jpg'.format(num)  # 给每张图片命名
            save_path = path + '/' + image_name  # 图片的保存地址
            with open(save_path, 'wb') as f:
                f.write(image_data)
                print(image_name, '=======================>下载成功!!!')
                num = num+1  # 下一张图片名字序号加一
        except:
            pass
    # 关闭文件录入
    f.close()
    print("\r\n扫描结果已写入到result.txt文件中\r\n")
    

    过程

    借鉴代码

    自己从0开始,没有头绪,而且对python掌握度不高,那先借鉴别人的代码开始,第一篇借鉴的代码如下

    # 引入系统类库
    import sys
    # 使用文档解析类库
    from bs4 import BeautifulSoup
    # 使用网络请求类库
    import urllib.request
    path = 'D:/阴阳师'
    
    html_doc = "https://yys.163.com/media/picture.html"
    # 获取请求
    req = urllib.request.Request(html_doc)
    # 打开页面
    webpage = urllib.request.urlopen(req)
    
    # 读取页面内容
    html = webpage.read()
    # 解析成文档对象
    soup = BeautifulSoup(html, 'html.parser')  # 文档对象
    
    # 非法URL 1
    invalidLink1 = '#'
    # 非法URL 2
    invalidLink2 = 'javascript:void(0)'
    # set集合可以防止下载的图片连接重复
    result = set()
    # 计数器用于图片命名
    num = 0
    # 查找文档中所有a标签
    for k in soup.find_all('a'):
        # print(k)
        # 查找href标签
        link = k.get('href')
        # 过滤没找到的
        if(link is not None):
            # 过滤非法链接
            if link == invalidLink1:
                pass
            elif link == invalidLink2:
                pass
            elif link.find("javascript:") != -1:
                pass
            else:
                result.add(link)
    
    for a in result:
        # 文件路径、操作模式、编码  # r''
        f = open(r'result.txt', 'w', encoding='utf-8')
        # image_data = urllib.request.get(url=a).content
        image_data = requests.get(url=a).content
        image_name = '{}.jpg'.format(num)  # 给每张图片命名
        save_path = path + '/' + image_name  # 图片的保存地址
        with open(save_path, 'wb') as f:
            f.write(image_data)
            print(image_name, '=======================>下载成功!!!')
            num = num+1  # 下一张图片名字序号加一
            f.close()
    
    print("\r\n扫描结果已写入到result.txt文件中\r\n")
    

    思考urllib.request和requests

    借鉴的代码中使用urllib.request来请求,刚开始学习看到的一些代码实例也常用urllib.request来发起请求,之后看到有的代码使用的是requests。对于我个人,主观感受requests更加便捷,少写了几行代码,于是便去查阅了解两者的区别。

    BeautifulSoup

    接触到了BeautifulSoup,并且在一些文章的评论中看到对BeautifulSoup的称赞,进入文档查阅了下用法,改变了我之前对python,获取文档中部分特征的元素节点的写法困难的印象。

    Beautiful Soup 4.4.0 文档

    优化处理

    之所以要加正则匹配,因为一开始获取到的图片链接里有空字符串的现象,在下载图片的时候直接报错整个程序挂掉,而且这个借鉴代码中的invalidLink1和invalidLink2看起来属实不舒服。所以添加了正则从源头保证链接的有效性,并且在执行下载代码中,添加了try,except保证程序出错也不会挂掉。

    借鉴的代码中每一次的下载,都会对要保存的目录进行打开和关闭,于是将打开关闭抽离到最外层,下载的逻辑放在里面,下载图片成功的提速果然肉眼可见~

    总结

    壁纸确实不戳~,希望下一个学习的脚本能更加有趣~

    以上就是Python 批量下载阴阳师网站壁纸的详细内容,更多关于python 下载阴阳师网站壁纸的资料请关注脚本之家其它相关文章!

    您可能感兴趣的文章:
    • Python爬虫之批量下载喜马拉雅音频
    • python爬虫智能翻页批量下载文件的实例详解
    • 用python批量下载apk
    • 用python爬虫批量下载pdf的实现
    • python 批量下载bilibili视频的gui程序
    • Python爬虫实战之批量下载快手平台视频数据
    上一篇:python 如何将两个实数矩阵合并为一个复数矩阵
    下一篇:Python机器学习之PCA降维算法详解
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    Python 批量下载阴阳师网站壁纸 Python,批量,下载,阴阳,师,