• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    PyTorch dropout设置训练和测试模式的实现

    看代码吧~

    class Net(nn.Module):
    …
    model = Net()
    …
    model.train() # 把module设成训练模式,对Dropout和BatchNorm有影响
    model.eval() # 把module设置为预测模式,对Dropout和BatchNorm模块有影响
    

    补充:Pytorch遇到的坑——训练模式和测试模式切换

    由于训练的时候Dropout和BN层起作用,每个batch BN层的参数不一样,dropout在训练时随机失效点具有随机性,所以训练和测试要区分开来。

    使用时切记要根据实际情况切换:

    model.train()
    model.eval()
    

    补充:Pytorch在测试与训练过程中的验证结果不一致问题

    引言

    今天在使用Pytorch导入此前保存的模型进行测试,在过程中发现输出的结果与验证结果差距甚大,经过排查后发现是forward与eval()顺序问题。

    现象

    此前的错误代码是

        input_cpu = torch.ones((1, 2, 160, 160))
        target_cpu =torch.ones((1, 2, 160, 160))
        target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
        model.set_input_2(input_gpu, target_gpu)
        model.eval()
        model.forward()

    应该改为

        input_cpu = torch.ones((1, 2, 160, 160))
        target_cpu =torch.ones((1, 2, 160, 160))
        target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
        model.set_input_2(input_gpu, target_gpu)
        # 先forward再eval
        model.forward()
        model.eval()

    当时有个疑虑,为什么要在forward后面再加eval(),查了下相关资料,主要是在BN层以及Dropout的问题。当使用eval()时,模型会自动固定BN层以及Dropout,选取训练好的值,否则则会取平均,可能导致生成的图片颜色失真。

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

    您可能感兴趣的文章:
    • pytorch Dropout过拟合的操作
    • 浅谈pytorch中的dropout的概率p
    • PyTorch 实现L2正则化以及Dropout的操作
    • pytorch 实现在测试的时候启用dropout
    • pytorch 中nn.Dropout的使用说明
    • Pytorch之如何dropout避免过拟合
    上一篇:pytorch Dropout过拟合的操作
    下一篇:只需要100行Python代码就可以实现的贪吃蛇小游戏
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    PyTorch dropout设置训练和测试模式的实现 PyTorch,dropout,设置,训练,