• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    pytorch 中nn.Dropout的使用说明

    看代码吧~

    Class USeDropout(nn.Module):
     
        def __init__(self): 
            super(DropoutFC, self).__init__() 
            self.fc = nn.Linear(100,20) 
            self.dropout = nn.Dropout(p=0.5)  
        def forward(self, input): 
            out = self.fc(input) 
            out = self.dropout(out) 
            return out 
    Net = USeDropout() 
    Net.train()

    示例代码如上,直接调用nn.Dropout即可,但是注意在调用时要将模型参数传入。

    补充:Pytorch的nn.Dropout运行稳定性测试

    结论:

    Pytorch的nn.Dropout在每次被调用时dropout掉的参数都不一样,即使是同一次forward也不同。

    如果模型里多次使用的dropout的dropout rate大小相同,用同一个dropout层即可。

    如代码所示:

    import torch
    import torch.nn as nn
    class MyModel(nn.Module):
        def __init__(self):
            super(MyModel, self).__init__()
            self.dropout_1 = nn.Dropout(0.5)
            self.dropout_2 = nn.Dropout(0.5)
        def forward(self, input):
            # print(input)
            drop_1 = self.dropout_1(input)
            print(drop_1)
            drop_1 = self.dropout_1(input)
            print(drop_1)
            drop_2 = self.dropout_2(input)
            print(drop_2)
    if __name__ == '__main__':
        i = torch.rand((5, 5))
        m = MyModel()
        m.forward(i)
    

    结果如下:

    *\python.exe */model.py
    tensor([[0.0000, 0.0914, 0.0000, 1.4095, 0.0000],
    [0.0000, 0.0000, 0.1726, 1.3800, 0.0000],
    [1.7651, 0.0000, 0.0000, 0.9421, 1.5603],
    [1.0510, 1.7290, 0.0000, 0.0000, 0.8565],
    [0.0000, 0.0000, 0.0000, 0.0000, 0.0000]])
    tensor([[0.0000, 0.0000, 0.4722, 1.4095, 0.0000],
    [0.0416, 0.0000, 0.1726, 1.3800, 1.3193],
    [0.0000, 0.3401, 0.6550, 0.0000, 0.0000],
    [1.0510, 1.7290, 1.5515, 0.0000, 0.0000],
    [0.6388, 0.0000, 0.0000, 1.0122, 0.0000]])
    tensor([[0.0000, 0.0000, 0.4722, 0.0000, 1.2689],
    [0.0416, 0.0000, 0.0000, 1.3800, 0.0000],
    [0.0000, 0.0000, 0.6550, 0.0000, 1.5603],
    [0.0000, 0.0000, 1.5515, 1.4596, 0.0000],
    [0.0000, 0.0000, 0.0000, 0.0000, 0.0000]])

    Process finished with exit code 0

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

    您可能感兴趣的文章:
    • PyTorch dropout设置训练和测试模式的实现
    • pytorch Dropout过拟合的操作
    • 浅谈pytorch中的dropout的概率p
    • PyTorch 实现L2正则化以及Dropout的操作
    • pytorch 实现在测试的时候启用dropout
    • Pytorch之如何dropout避免过拟合
    上一篇:Python 线程池模块之多线程操作代码
    下一篇:用Python监控NASA TV直播画面的实现步骤
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    pytorch 中nn.Dropout的使用说明 pytorch,中,nn.Dropout,的,使用说明,