pytorch_mnist_ddp | PyTorch mnist distributed data parallel example

pytorch_mnist_ddp is a Python library. pytorch_mnist_ddp has no bugs, it has no vulnerabilities and it has low support. However pytorch_mnist_ddp build file is not available. You can download it from GitHub.

大家都知道，mnist 之于深度学习计算机视觉，就像 hello world 对于各大编程语言，我相信很多朋友看各个深度学习框架，都是看一下训练 mnist 的例子，例如 PyTorch 的 mnist 例子，TensorFlow 的 mnist 例子，Paddle 的 mnist 例子。所以说，mnist 对于深度学习框架，是个很好的管中窥豹的机会。. 今天开源一个基于 PyTorch 分布式训练，也就是 DistributedDataParallel，简称 DDP，分布式数据并行。. 其实，PyTorch 有两个版本的数据并行接口，一个是 DataParallel(简称 DP)，另外一个是上面说的 DDP，两者的区别是：. 因此，尽量避免使用 DP，直接换成 DDP，其实 DDP 相比 DP，需要改动的代码并不多。. 废话不多数，下面简单介绍一下代码。 为了简洁和规范，我是在 PyTorch 的 mnist 例子上改动的。. | 卡数 | 20 epoch 耗时(秒) | | :--------- | :--: | | 4 | 73.6 | | 2 | 137.1 | | 1 | 242.3 |.