• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    Pytorch获取无梯度TorchTensor中的值

    获取无梯度Tensor

    遇到的问题:

    使用两个网络并行运算,一个网络的输出值要给另一个网络反馈。而反馈的输出值带有网络权重的梯度,即grad_fn=XXXBackward0>.

    这时候如果把反馈值扔到第二网络中更新,会出现第一个计算图丢失无法更新的错误。哎哟喂,我根本不需要第一个网络的梯度好吗?

    一开始用了一个笨办法,先转numpy,然后再转回torch.Tensor。因为numpy数据是不带梯度的。

    但是我的原始tensor的放在cuda上的,

    cuda的张量是不能直接转Tensor,所以

    t_error = td_error.cuda().data.cpu().numpy()
    t_error = torch.FloatTensor(t_error).to(device)

    从cuda转回了cpu,变成numpy,又转成了tensor,又回到了cuda上,坑爹呢这是,可能只有我才能写出如此低效的辣鸡代码了。

    后来发现,其实直接在返回的时候添加

    with torch.no_grad():
     td_error = reward + GAMMA * v_ - v

    即可.

    补充:在pytorch中取一个tensor的均值,然后该张量中的所有值与其对比!

    Pytorch中的Tensor的shape是(B, C, W, H),

    对该tensor取均值并与所有值做对比代码如下:

    C, H, W = tensor.shape[1], tensor.shape[2], tensor.shape[3]
    for c in range(C):
     mean = torch.mean(x[0][c])
     for h in range(H):
      for w in range(W):
      if x[0][c][h][w] >= mean:
      x[0][c][h][w] = mean
    

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

    您可能感兴趣的文章:
    • 浅谈pytorch中为什么要用 zero_grad() 将梯度清零
    • PyTorch梯度裁剪避免训练loss nan的操作
    • PyTorch 如何自动计算梯度
    • pytorch 如何打印网络回传梯度
    • pytorch损失反向传播后梯度为none的问题
    • PyTorch 如何检查模型梯度是否可导
    上一篇:python 爬取英雄联盟皮肤图片
    下一篇:解决python中os.system调用exe文件的问题
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    Pytorch获取无梯度TorchTensor中的值 Pytorch,获取,无,梯度,TorchTensor,