1. https://www.sohu.com/a/198655698_465975
2. https://zhuanlan.zhihu.com/p/45439173
3. https://github.com/horovod/horovod/blob/master/horovod/common/operations.cc

原文地址： https://andrew.gibiansky.com/blog/machine-learning/baidu-allreduce/简介过去几年中，神经网络规模不断扩大，而训练可能需要大量的数据和计算资源。 为了提供所需的计算能力，我们使用高性能计算（H…
— 在以下网站上阅读： zhuanlan.zhihu.com/p/126754580

从事分布式深度学习相关工作的同学，应该都频繁地用到了AllReduce（规约）操作。 但是对于训练框架中集成的AllReduce相关操作，其背后实现的原理是什么？ 除了最近几年名声大噪的Ring AllReduce是否还有其他的AllR…
— 在以下网站上阅读： zhuanlan.zhihu.com/p/79030485

分布式TensorFlow入门教程 – 机器学习算法工程师 – 简书 https://www.jianshu.com/p/9c462bbb6628

本文向多核软件程序员介绍弱内存模型，为更多人写好多核同步代码提供帮助。所谓强内存顺序和弱内存顺序（以下简称强顺序和弱顺序）模型，是一个比较模糊的概念，不同的计算体系结构有不同的深入定义。但我们可以有…
— 在以下网站上阅读： zhuanlan.zhihu.com/p/94421667

item: https://blog.csdn.net/zxyhhjs2017/article/details/90062897

clamp: https://blog.csdn.net/u013230189/article/details/82627375

mm: https://blog.csdn.net/u013230189/article/details/82627077