• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    解决pytorch trainloader遇到的多进程问题

    pytorch中尝试用多进程加载训练数据集,源码如下:

    trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=3)

    结果报错:

    RuntimeError: 
            An attempt has been made to start a new process before the
            current process has finished its bootstrapping phase.

            This probably means that you are not using fork to start your
            child processes and you have forgotten to use the proper idiom
            in the main module:

                if __name__ == '__main__':
                    freeze_support()
                    ...

            The "freeze_support()" line can be omitted if the program
            is not going to be frozen to produce an executable.

    从报错信息可以看到,当前进程在运行可执行代码时,产生了一个新进程。这可能意味着您没有使用fork来启动子进程或者是未在主模块中正确使用。

    后来经过查阅发现了原因,因为windows系统下默认用spawn方法部署多线程,如果代码没有受到__main__模块的保护,新进程都认为是要再次运行的代码,将尝试再次执行与父进程相同的代码,生成另一个进程,依此类推,直到程序崩溃。

    解决方法很简单

    把调用多进程的代码放到__main__模块下即可。

    if __name__ == '__main__':
        transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])
        trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)
        trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=3)

    补充:pytorch-Dataloader多进程使用出错

    使用Dataloader进行多进程数据导入训练时,会因为多进程的问题而出错

    dataloader = DataLoader(transformed_dataset, batch_size=4,shuffle=True, num_workers=4)

    其中参数num_works=表示载入数据时使用的进程数,此时如果参数的值不为0而使用多进程时会出现报错

    RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not using fork to start your child processes and you have forgotten to use the proper idiom in the main module: if __name__ == '__main__': freeze_support() ... The "freeze_support()" line can be omitted if the program is not going to be frozen to produce an executable.

    此时在数据的调用之前加上if __name__ == '__main__':即可解决问题

    if __name__ == '__main__':#这个地方可以解决多线程的问题
    
            for i_batch, sample_batched in enumerate(dataloader):

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

    您可能感兴趣的文章:
    • pytorch多进程加速及代码优化方法
    • PyTorch 解决Dataset和Dataloader遇到的问题
    • 解决pytorch DataLoader num_workers出现的问题
    上一篇:Pytorch测试神经网络时出现 RuntimeError:的解决方案
    下一篇:Python 中拼音库 PyPinyin 用法详解
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    解决pytorch trainloader遇到的多进程问题 解决,pytorch,trainloader,遇到,