• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    pytorch中的model.eval()和BN层的使用

    看代码吧~

    class ConvNet(nn.module):
        def __init__(self, num_class=10):
            super(ConvNet, self).__init__()
            self.layer1 = nn.Sequential(nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2),
                                        nn.BatchNorm2d(16),
                                        nn.ReLU(),
                                        nn.MaxPool2d(kernel_size=2, stride=2))
            self.layer2 = nn.Sequential(nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2),
                                        nn.BatchNorm2d(32),
                                        nn.ReLU(),
                                        nn.MaxPool2d(kernel_size=2, stride=2))
            self.fc = nn.Linear(7*7*32, num_classes)
             
        def forward(self, x):
            out = self.layer1(x)
            out = self.layer2(out)
            print(out.size())
            out = out.reshape(out.size(0), -1)
            out = self.fc(out)
            return out
    # Test the model
    model.eval()  # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance)
    with torch.no_grad():
        correct = 0
        total = 0
        for images, labels in test_loader:
            images = images.to(device)
            labels = labels.to(device)
            outputs = model(images)
            _, predicted = torch.max(outputs.data, 1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()

    如果网络模型model中含有BN层,则在预测时应当将模式切换为评估模式,即model.eval()。

    评估模拟下BN层的均值和方差应该是整个训练集的均值和方差,即 moving mean/variance。

    训练模式下BN层的均值和方差为mini-batch的均值和方差,因此应当特别注意。

    补充:Pytorch 模型训练模式和eval模型下差别巨大(Pytorch train and eval)附解决方案

    当pytorch模型写明是eval()时有时表现的结果相对于train(True)差别非常巨大,这种差别经过逐层查看,主要来源于使用了BN,在eval下,使用的BN是一个固定的running rate,而在train下这个running rate会根据输入发生改变。

    解决方案是冻住bn

    def freeze_bn(m):
        if isinstance(m, nn.BatchNorm2d):
            m.eval()
    model.apply(freeze_bn)

    这样可以获得稳定输出的结果。

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

    您可能感兴趣的文章:
    • 浅谈pytorch中的BN层的注意事项
    • pytorch 固定部分参数训练的方法
    • pytorch固定BN层参数的操作
    上一篇:解决Pytorch中的神坑:关于model.eval的问题
    下一篇:粗暴解决CUDA out of memory的问题
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    pytorch中的model.eval()和BN层的使用 pytorch,中的,model.eval,和,