• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    用Python爬取某乎手机APP数据

    一、配置抓包工具

    1.安装软件

    本文选择的抓包工具:Fiddler  

    具体的下载安装这里不详细赘述!(网上搜Fiddler安装,一大堆教程),本文以实战为例,就不再这里浪费时间了!

    2.配置Fiddler

    安装好之后,接下来就开始配置Fiddler工具(这里是关键,仔细阅读!

    配置Connections

    打开Fiddler后,点击Tools->Options

    点击Connections

    勾选上对应的选项

    配置HTTPS

    由于目前大部分APP都是https加密,包括本文实战『某乎』案例也是https加密,因此配置HTTPS,来抓取https数据包!

    勾选上对应的选项

    最后抓包工具Fiddler就配置好了

    记得重启Fiddler重启Fiddler重启Fiddler!不然可能不生效

    二、配置手机代理

     1.设置代理

    准备工作

    首先看一下安装Fiddler主机ip(电脑和手机必须处于同一局域网

    查看ip命令

    window:ipconfig

    开始配置

    目标代理主机信息
    ip:192.168.31.195

    端口:8888

    在wifi无线网处进去,点击配置代理

    填写好相关代理信息

    2.安装证书

    在浏览器输入:

    http://192.168.31.195:8888

    点击下载证书后,下面就开始安装(看图操作

    ok,这样手机端就配置完成,下面开始抓取数据!!!

    三、抓取数据

    1.打开某乎app

    2.查看数据包列表

    打开app之后,Fiddler就已经抓取到数据了

    这里可以看到app发送和接收了哪些数据包

    为了更加精准定位到某乎(只看目标的数据包),添加一个过滤条件

    这样我们获取的数据包列表就都是过滤条件内的目标网址

    3.查找数据包

    比如点击热榜

    对应的https加密数据包如下:

    数据包中的数据如下:

    提取出url链接

    https://api.zhihu.com/topstory/hot-list?limit=10reverse_order=0

    拿到url之后,接着开始编程爬取保存数据。

    4.编写爬虫程序

    # -*- coding: utf-8 -*-

    ok这样就可以将数据获取下来!

    四、总结

    1.配置抓包工具Fiddler(重点)。

    2.ios苹果手机配置证书和设置代理(安卓手机也类似)。

    3.简单使用Fiddler(过滤数据包、查看数据包等)。

    4.本文以某乎为实战,实现了python爬取手机app数据

    到此这篇关于用Python爬取某乎手机APP数据的文章就介绍到这了,更多相关Python爬取APP数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

    您可能感兴趣的文章:
    • Python自动化爬取天眼查数据的实现
    • Python爬虫实战之爬取京东商品数据并实实现数据可视化
    • Python爬虫之自动爬取某车之家各车销售数据
    • 教你如何使用Python快速爬取需要的数据
    • Python爬虫之爬取我爱我家二手房数据
    • python使用XPath解析数据爬取起点小说网数据
    上一篇:七个非常实用的Python工具包总结
    下一篇:Python实现最短路径问题的方法
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    用Python爬取某乎手机APP数据 用,Python,爬取,某乎,手机,