• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    只需要这一行代码就能让python计算速度提高十倍

    一、前言

    Python语言近年来人气爆棚。它广泛应用于数据科学,人工智能,以及网络安全问题中,由于代码可读性较强,学习效率较高,吸引了许多非科班的同学进行学习。然而,使用Python一段时间以后,发现它在速度上完全没有优势可言,特别是计算密集型任务里,性能问题一直是Python的软肋。本文主要介绍了Python的JIT编译器Numba,能够在对代码侵入最少的情况下,极大加速计算核心函数的运行速度,适合数据分析业务相关的同学使用。

    首先要回答这样一个问题:当运行同一个程序时,为什么Python会 比其他语言慢2到10倍?为什么我们无法将它变得更快?

    以下是最主要的原因:

    由于本文的着重点并不是解释Python速度慢的原因以及背后的逻辑,这部分就不深入探讨了,欢迎有兴趣的同学自行搜索🔍

    二、Python的JIT编译器

    为了兼具移植性和性能,聪明的工程师们发明了 JIT 这个东西,所谓的 JIT 就是说在解释型语言中,对于经常用到的或者说有较大性能提升的代码在解释的时候编译成机器码,其他一次性或者说没有太大性能提升的代码还是以字节码的方式执行。这样的话,就能在保证移植性的同时,又能让性能提升一大截,

    JIT编译在代码运行时动态将Python代码编译为机器代码执行,由于避免了Python内置的解释器,运行速度会有很大提升。比较流行的JIT方案是Numba和Pypy,但由于Python的历史包袱和语法变化等原因,没有一个能够完美实现的方案。方案各自存在不同的优缺点,需要在根据使用领域选择合适的方案。

     

    三、Numba快速学习

    我们主要介绍Numba的基本用法,能够在对代码侵入最少的情况下,极大加速计算核心函数的运行速度,适合数据分析业务相关的同学使用。

    Numba通过使用LLVM技术,将Python代码编译生成优化后的机器码,可以大幅提高代码执行效率。

    对于Numba的学习,纽约大学提供了一套入门级别的视频,代码简单,纽约大学Numba快速学习,如果想要浏览中文文章欢迎继续往下看!

    关于安装

    首先是安装numba,根据python环境,运行不同的安装命令:

    conda install numba
    pip install numba

    四、关于使用

    一句话总结:使用Numba最简单的方式就是在函数定义前加@jit 或 @njit的装饰即可。

    Numba通过在函数定义前加decorator(修饰符)来申明是否进行加速。如上文所说,最简单的使用方法是@jit。对于Numba的@jit有两种编译模式:nopython和object模式。

    nopython模式会完全编译这个被修饰的函数,函数的运行与Python解释器完全无关,不会调用Python的C语言API。如果想获得最佳性能,推荐使用此种模式。同时由于@jit(nopython=True)太常用了,Numba提供了@njit修饰符,和这句话等价,方便使用。但这种模式要求函数中所有变量的类型都可以被编译器推导(一些基本类型,如不能是一些库或自己定义的数据类型等),否则就会报错。

    object模式中编译器会自动识别函数中循环语句等可以编译加速的代码部分,并编译成机器码,对于剩下不能识别的部分交给Python解释器运行。如果想获取最佳性能,避免使用这种方法(For best performance avoid using this mode!)。

    如果没设置参数nopython=True,Numba首先会尝试使用nopython模式,如果因为某些原因无法使用,则会使用object模式。加了nopython后则会强制编译器使用nopython模式,但如果代码出现了不能自动推导的类型,有报错的风险。

    五、实验提升

    from numba import jit
    import random, time
    
    def monte_carlo_pi(sam):
        account = 0
        for i in range(sam):
            x = random.random()
            y = random.random()
            if (x ** 2 + y ** 2)  1.0:
                account += 1
        return 4.0 * account / sam
    
    @jit
    def jit_monte_carlo_pi(sam):
        account = 0
        for i in range(sam):
            x = random.random()
            y = random.random()
            if (x ** 2 + y ** 2)  1.0:
                account += 1
        return 4.0 * account / sam
    
    loops = [100000, 1000000, 10000000, 100000000, 1000000000]
    
    for loop in loops:
    	startTime = time.time()
    	monte_carlo_pi(loop)
    	t = time.time() - startTime
    	print('python {} loop: {}'.format(loop, t))
    
    	startTime = time.time()
    	jit_monte_carlo_pi(loop)
    	t = time.time() - startTime
    	print('numba {} loop: {}'.format(loop, t))
    

    对于以上代码,运行的结果是:
    python 100000    loop: 0.0469999313354
    numba  100000    loop: 0.213999986649
    python 1000000   loop: 0.478999853134
    numba  1000000   loop: 0.0110001564026
    python 10000000  loop: 4.82499980927
    numba  10000000  loop: 0.107000112534
    python 100000000 loop: 48.728000164
    numba  100000000 loop: 1.05900001526
    python 1000000000 loop: 489.142100134
    numba  1000000000 loop: 11.01402001452

    可以看到,jit编译后有约47倍的提升。循环次数越多,numba的加速效果就越明显。对于更复杂的计算函数,numba可能会有更好的效果。

    到此这篇关于只需要这一行代码就能让python计算速度提高十倍的文章就介绍到这了,更多相关提高python计算速度内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

    您可能感兴趣的文章:
    • python怎么提高计算速度
    • python 提高开发效率的5个小技巧
    • 提高python代码运行效率的一些建议
    • 基于python3.7利用Motor来异步读写Mongodb提高效率(推荐)
    • 如何提高python 中for循环的效率
    • 基于Numba提高python运行效率过程解析
    • Python 如何提高元组的可读性
    • python图片二值化提高识别率代码实例
    • Python优化技巧之利用ctypes提高执行速度
    上一篇:pytorch 如何使用float64训练
    下一篇:pytorch 如何使用amp进行混合精度训练
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    只需要这一行代码就能让python计算速度提高十倍 只,需要,这,一行,代码,就能,