• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    python使用xpath获取页面元素的使用

    关于python 使用xpath获取网页信息的方法?

    1、xpath的使用方法?

    ​ XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。

    常用路径表达式含义

    表达式 描述
    / 从根节点选取(取子节点)
    // 选择的当前节点选择文档中的节点
    . 选取当前节点。
    选取当前节点的父节点。
    @ 选取属性
    * 表示任意内容(通配符)
    | 运算符可以选取多个路径

    常用功能函数

    函数 用法 解释
    startswith() xpath(‘//div[starts-with(@id,”ma”)]‘) #选取id值以ma开头的div节点
    contains() xpath(‘//div[contains(@id,”ma”)]‘) #选取id值包含ma的div节点
    and() xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘) #选取id值包含ma的div节点
    text() _.xpath('./div/div[4]/a/em/text()') #选取em标签下文本内容

    备注:

    1、html中当相同层次存在多个标签例如div,它们的顺序是从1开始,不是0
    2、浏览器中使用开发者工具可以快速获取节点信息

    2、实例:

    #!/usr/bin/python3
    # -*- coding: utf-8 -*-
    # @Time    : 2021/9/7 9:35
    # @Author  : Sun
    # @Email   : 8009@163.com
    # @File    : sun_test.py
    # @Software: PyCharm
    
    
    import requests
    from lxml import etree
    
    
    def get_web_content():
        try:
            url = "htpps://***keyword=%E6%97%A0%E9%92%A2%E5%9C%88wq=%E6%97%A0%E"
      "9%92%A2%E5%9C%88ev=1_68131%5Epvid=afbf41410b164c1b91d"
            "abdf18ae8ab5cpage=5s=116click=0 "
            header = {
                "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
                "AppleWebKit/537.36 (KHTML, like Gecko) "
                              "Chrome/75.0.3770.100 Safari/537.36 "}
            response = requests.request(method="Get", url=url, headers=header)
            result = response.text
            return result
        except TimeoutError as e:
            return None
    
    
    def parsing():
        result = get_web_content()
        if result is not None:
            html = etree.HTML(result)
            # 先获取一个大的节点,包含了想要获取的所有信息
            ii = html.xpath('//*[@id="J_goodsList"]/ul/li')
           
            for _ in ii:
            # 采用循环,依次从大节点中获取小的节点内容
                # ''.join() 将列表中的内容拼接成一个字符串
                infoResult = {
                	# @href 表示:获取属性为href的内容
                    'href': "https:" + _.xpath('./div/div[1]/a/@href')[0],
                    'title': ''.join(
                            _.xpath('./div/div[2]/div/ul/li/a/@title')),
                    # text()表示获取节点i里面的文本信息
                    'price': _.xpath('./div/div[3]/strong/i/text()')[0],
                    'info': ''.join(
                            _.xpath('./div/div[4]/a/em/text()')).strip(),
                    'province': _.xpath('./div/div[9]/@data-province')[0]}
                print(infoResult)
        else:
            raise Exception("Failed to get page information, please check!")
        
        return None
    
    
    if __name__ == '__main__':
        parsing()
    

    结果图片:

    到此这篇关于python使用xpath获取页面元素的使用的文章就介绍到这了,更多相关python xpath获取页面元素内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

    您可能感兴趣的文章:
    • python数据XPath使用案例详解
    • python网络爬虫精解之XPath的使用说明
    • python动态网站爬虫实战(requests+xpath+demjson+redis)
    • Python爬虫必备之XPath解析库
    • Python爬虫之用Xpath获取关键标签实现自动评论盖楼抽奖(二)
    • python数据解析之XPath详解
    上一篇:python实现贝叶斯推断的例子
    下一篇:脚本测试postman快速导出python接口测试过程示例
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    python使用xpath获取页面元素的使用 python,使用,xpath,获取,页面,