• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    解决pytorch 损失函数中输入输出不匹配的问题

    一、pytorch 损失函数中输入输出不匹配问题

    File "C:\Users\Rain\AppData\Local\Programs\Python\Anaconda.3.5.1\envs\python35\python35\lib\site-packages\torch\nn\modules\module.py", line 491, in __call__  result = self.forward(*input, **kwargs)

    File "C:\Users\Rain\AppData\Local\Programs\Python\Anaconda.3.5.1\envs\python35\python35\lib\site-packages\torch\nn\modules\loss.py", line 500, in forward reduce=self.reduce)
     
    File "C:\Users\Rain\AppData\Local\Programs\Python\Anaconda.3.5.1\envs\python35\python35\lib\site-packages\torch\nn\functional.py", line 1514, in binary_cross_entropy_with_logits
     
    raise ValueError("Target size ({}) must be the same as input size ({})".format(target.size(), input.size()))
     
    ValueError: Target size (torch.Size([32])) must be the same as input size (torch.Size([32,2]))

    原因

    input 和 target 尺寸不匹配

    解决方案:

    将target转为onehot

    例如:

    one_hot = torch.nn.functional.one_hot(masks, num_classes=args.num_classes)
    

    二、Pytorch遇到权重不匹配的问题

    最近,楼主在pytorch微调模型时遇到

    size mismatch for fc.weight: copying a param with shape torch.Size([1000, 2048]) from checkpoint, the shape in current model is torch.Size([2, 2048]).

    size mismatch for fc.bias: copying a param with shape torch.Size([1000]) from checkpoint, the shape in current model is torch.Size([2]).

    这个是因为楼主下载的预训练模型中的全连接层是1000类别的,而楼主本人的类别只有2类,所以会报不匹配的错误

    解决方案:

    从报错信息可以看出,是fc层的权重参数不匹配,那我们只要不load 这一层的参数就可以了。

    net = se_resnet50(num_classes=2)
    pretrained_dict = torch.load("./senet/seresnet50-60a8950a85b2b.pkl")
    model_dict = net.state_dict()
    # 重新制作预训练的权重,主要是减去参数不匹配的层,楼主这边层名为“fc”
    pretrained_dict = {k: v for k, v in pretrained_dict.items() if (k in model_dict and 'fc' not in k)}
    # 更新权重
    model_dict.update(pretrained_dict)
    net.load_state_dict(model_dict)

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

    您可能感兴趣的文章:
    • pytorch中常用的损失函数用法说明
    • Pytorch 的损失函数Loss function使用详解
    • 解决pytorch 交叉熵损失输出为负数的问题
    上一篇:Pytorch distributed 多卡并行载入模型操作
    下一篇:pytorch 预训练模型读取修改相关参数的填坑问题
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    解决pytorch 损失函数中输入输出不匹配的问题 解决,pytorch,损失,函数,中,