• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    对PyTorch中inplace字段的全面理解

    例如

    torch.nn.ReLU(inplace=True)
    inplace=True

    表示进行原地操作,对上一层传递下来的tensor直接进行修改,如x=x+3;

    inplace=False

    表示新建一个变量存储操作结果,如y=x+3,x=y;

    inplace=True

    可以节省运算内存,不用多存储变量。

    补充:PyTorch中网络里面的inplace=True字段的意思

    在例如nn.LeakyReLU(inplace=True)中的inplace字段是什么意思呢?有什么用?

    inplace=True的意思是进行原地操作,例如x=x+5,对x就是一个原地操作,y=x+5,x=y,完成了与x=x+5同样的功能但是不是原地操作。

    上面LeakyReLU中的inplace=True的含义是一样的,是对于Conv2d这样的上层网络传递下来的tensor直接进行修改,好处就是可以节省运算内存,不用多储存变量y。

    inplace=True means that it will modify the input directly, without allocating any additional output. It can sometimes slightly decrease the memory usage, but may not always be a valid operation (because the original input is destroyed). However, if you don't see an error, it means that your use case is valid.

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

    您可能感兴趣的文章:
    • 浅谈PyTorch中in-place operation的含义
    • pytorch中的自定义数据处理详解
    • PyTorch中的拷贝与就地操作详解
    上一篇:pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
    下一篇:Pytorch 中net.train 和 net.eval的使用说明
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    对PyTorch中inplace字段的全面理解 对,PyTorch,中,inplace,字段,