在运行程序的bash命令中添加 export TORCH_DISTRIBUTED_DEBUG=DETAIL ，这样就可以在log或终端打印没有参与loss计算的权重参数了。
多级多卡训练模型时有些参数没有参与loss计算和梯度更新的解决办法
深耕网站建设、视觉设计与SEO优化的一线实战洞察。
在运行程序的bash命令中添加 export TORCH_DISTRIBUTED_DEBUG=DETAIL ，这样就可以在log或终端打印没有参与loss计算的权重参数了。