• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    教你如何利用python3爬虫爬取漫画岛-非人哉漫画

        最近学了一点点python爬虫的知识,面向百度编程爬了一本小说之后感觉有点不满足,于是突发奇想尝试爬一本漫画下来看看。

    一、效果展示

      首先是我们想要爬取的漫画网页:http://www.manhuadao.cn/

       网页截图:

       

    其次是爬取下来的效果:

    每一回的文件夹里面是这样的: (因为网站图片的问题...所以就成了这个鬼样子)

    二、分析原理

    1、准备:需要vscode或者其他能够编译运行python的软件,推荐python版本3.X ,否则有可能出现编译问题。

           下载所需模块:win+R进入命令行,输入pipinstall 模块名>即可下载。例如:

    pip install beautifulsoup4

    2、原理: 模拟浏览器点击->打开漫画网页链接->获取网页源码->定位每一章漫画的链接->模拟点击->获取图片页面源码->定位图片链接->下载图片

    三、实际操作(代码附在最后)

      1、引入模块 (这里不再详述)

        

      2、模拟浏览器访问网页  

        (1)、这里我们打开漫画的目录页,如下: url = ”http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628“ ,此链接就是目录页链接。

        (2)、按F12打开此网页的源码(谷歌浏览器),选中上方NetWork,Ctrl+R刷新。

        (3)、找到加载网页的源码文件,点击Headers,如下图: StatusCode表示网页返回的代码,值为200时表示访问成功。

          

        (4)、headers中的参数为下面红框User-Agent。

    response = requests.get(url=url, headers=headers)  # 模拟访问网页
    print(response)  # 此处应输出   Response [200]>
    print(response.text)   # 输出网页源码

         两个输出分别输出:

       输出返回200表示访问成功。

       (节选)

        (5)、将html代码存入 data 中,xpath定位每一章链接。点击上方Element,点击:

          

          将鼠标移至目录处:

          

          右边代码区域出现每一章链接:

    data = etree.HTML(response.text)
    # tp = data.xpath('//ul[@class="read-chapter"]/li/a[@class="active"]/@href')
    tp = data.xpath('//*[@class="yesReader"]/@href')
    zhang_list = tp   # tp为链接列表

      输出zhang_list,结果如下:

        (6)、获取图片链接(获取方式同上一步)

        点进第一章,同上一步,寻找到图片链接:

    i=1
    for next_zhang in zhang_list:    # 在章节列表中循环
        i=i+1
        j=0
        hui_url = r_url+next_zhang
        name1 = "第"+str(i)+"回"
        file = 'C:/Users/wangyueke/Desktop/'+keyword+'/{}/'.format(name1)   # 创建文件夹
        if not os.path.exists(file):
            os.makedirs(file)
            print('创建文件夹:', file)
        response = requests.get(url=hui_url, headers=headers)    # 模拟访问每一章链接
        data = etree.HTML(response.text)
        # tp = data.xpath('//div[@class="no-pic"]//img/@src')
        tp = data.xpath('//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src')   # 定位
        ye_list = tp

        (7)、下载图片

    for k in ye_list:    # 在每一章的图片链接列表中循环
        download_url = tp[j]
        print(download_url)
        j=j+1
        file_name="第"+str(j)+"页"
        response = requests.get(url=download_url)    # 模拟访问图片链接
        with open(file+file_name+".jpg","wb") as f:
            f.write(response.content)

    五、代码

    '''
    用于爬取非人哉漫画
    目标网址:http://www.manhuadao.cn/
    开始时间:2019/8/14 20:01:26
    完成时间:2019/8/15 11:04:56
    作者:kong_gu
    '''
    import requests
    import json
    import time
    import os
    from lxml import etree
    from bs4 import BeautifulSoup
    
    
    def main():
        keyword="非人哉"
        file = 'E:/{}'.format(keyword)
        if not os.path.exists(file):
            os.mkdir(file)
            print('创建文件夹:',file)
        r_url="http://www.manhuadao.cn/"
        url = "http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628"
        headers = {  # 模拟浏览器访问网页
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) \\Chrome/75.0.3770.142 Safari/537.36'}
        response = requests.get(url=url, headers=headers)
        # print(response.text)   # 输出网页源码
        data = etree.HTML(response.text)
        # tp = data.xpath('//ul[@class="read-chapter"]/li/a[@class="active"]/@href')
        tp = data.xpath('//*[@class="yesReader"]/@href')
        zhang_list = tp
        i=1
        for next_zhang in zhang_list:
            i=i+1
            j=0
            hui_url = r_url+next_zhang
            name1 = "第"+str(i)+"回"
            file = 'C:/Users/wangyueke/Desktop/'+keyword+'/{}/'.format(name1)    # 这里需要自己设置路径
            if not os.path.exists(file):
                os.makedirs(file)
                print('创建文件夹:', file)
            response = requests.get(url=hui_url, headers=headers)
            data = etree.HTML(response.text)
            # tp = data.xpath('//div[@class="no-pic"]//img/@src')
            tp = data.xpath('//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src')
            ye_list = tp
            for k in ye_list:
                download_url = tp[j]
                print(download_url)
                j=j+1
                file_name="第"+str(j)+"页"
                response = requests.get(url=download_url)
                with open(file+file_name+".jpg","wb") as f:
                    f.write(response.content)
    
    
    if __name__ == '__main__':
        main()

    到此这篇关于利用python3爬虫爬取漫画岛-非人哉漫画的文章就介绍到这了,更多相关python3爬虫漫画岛内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

    您可能感兴趣的文章:
    • 关于python爬虫应用urllib库作用分析
    • python爬虫Scrapy框架:媒体管道原理学习分析
    • python爬虫Mitmproxy安装使用学习笔记
    • Python爬虫和反爬技术过程详解
    • python爬虫之Appium爬取手机App数据及模拟用户手势
    • 爬虫Python验证码识别入门
    • Python爬虫技术
    • Python爬虫爬取商品失败处理方法
    • Python获取江苏疫情实时数据及爬虫分析
    • Python爬虫之Scrapy环境搭建案例教程
    • Python爬虫中urllib3与urllib的区别是什么
    • Python爬虫分析汇总
    上一篇:python concurrent.futures模块的使用测试
    下一篇:Python实现简单飞机大战
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    教你如何利用python3爬虫爬取漫画岛-非人哉漫画 教你,如何,利用,python3,爬虫,