• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    python使用XPath解析数据爬取起点小说网数据

    1. xpath 的介绍

    xpath是一门在XML文档中查找信息的语言

    优点:

    但是Xpath需要依赖xml的库,所以我们需要去安装lxml的库。

    安装lxml库

    我们先要安装lxml的库,直接在pycharm里安装即可:

    XML的树形结构:

    元素-元素-属性-文本

    使用XPath选取节点:

    选取节点的表达式举例:

    2. 爬取起点小说网

    在浏览器中获取书名和作者测试

    在谷歌里安装一个xpath的插件

    在html中查找book-mid-info

    我们要获取小说的名称: 也就是 //div[@class='book-mid-info']/h4/a/txt()

    再加一个获取作者:

    使用xpath获取起点小说网的数据

    # 作者:互联网老辛
    # 开发时间:2021/4/8/0008 8:24
    
    import requests
    from lxml import etree
    url="https://www.qidian.com/rank/yuepiao"
    headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}
    #发送请求
    resp=requests.get(url,headers)
    e=etree.HTML(resp.text) #类型转换,把str转变为class 'lxml.etree._ELement
    print(type(e))
    names=e.xpath('//div[@class="book-mid-info"]/h4/a/text()')
    authors=e.xpath('//p[@class="author"]/a[1]/text()')
    print(names)
    print(authors)
    #名称和作者对应
    for name,authors in zip(names,authors):
        print(name,":",authors)
    

    以上就是python使用XPath解析数据爬取起点小说网数据的详细内容,更多关于python XPath解析数据爬取起点小说网的资料请关注脚本之家其它相关文章!

    您可能感兴趣的文章:
    • Python爬虫之用Xpath获取关键标签实现自动评论盖楼抽奖(二)
    • python利用xpath爬取网上数据并存储到django模型中
    • selenium与xpath之获取指定位置的元素的实现
    • python Xpath语法的使用
    • Python自动化xpath实现自动抢票抢货
    • python selenium xpath定位操作
    • Python爬虫必备之XPath解析库
    上一篇:python 实现德洛内三角剖分的操作
    下一篇:python入门之算法学习
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    python使用XPath解析数据爬取起点小说网数据 python,使用,XPath,解析,数据,