1. https://www.sohu.com/a/198655698_465975
2. https://zhuanlan.zhihu.com/p/45439173
3. https://github.com/horovod/horovod/blob/master/horovod/common/operations.cc

原文地址： https://andrew.gibiansky.com/blog/machine-learning/baidu-allreduce/简介过去几年中，神经网络规模不断扩大，而训练可能需要大量的数据和计算资源。 为了提供所需的计算能力，我们使用高性能计算（H…
— 在以下网站上阅读： zhuanlan.zhihu.com/p/126754580

从事分布式深度学习相关工作的同学，应该都频繁地用到了AllReduce（规约）操作。 但是对于训练框架中集成的AllReduce相关操作，其背后实现的原理是什么？ 除了最近几年名声大噪的Ring AllReduce是否还有其他的AllR…
— 在以下网站上阅读： zhuanlan.zhihu.com/p/79030485

分布式TensorFlow入门教程 – 机器学习算法工程师 – 简书 https://www.jianshu.com/p/9c462bbb6628

item: https://blog.csdn.net/zxyhhjs2017/article/details/90062897

clamp: https://blog.csdn.net/u013230189/article/details/82627375

mm: https://blog.csdn.net/u013230189/article/details/82627077

关键字参数

可变参数允许你传入0个或任意个参数，这些可变参数在函数调用时自动组装为一个tuple。而关键字参数允许你传入0个或任意个含参数名的参数，这些关键字参数在函数内部自动组装为一个dict。请看示例：

def person(name, age, **kw):
    print('name:', name, 'age:', age, 'other:', kw)

函数person除了必选参数name和age外，还接受关键字参数kw。在调用该函数时，可以只传入必选参数：

>>> person('Michael', 30)
name: Michael age: 30 other: {}

也可以传入任意个数的关键字参数：

>>> person('Bob', 35, city='Beijing')
name: Bob age: 35 other: {'city': 'Beijing'}
>>> person('Adam', 45, gender='M', job='Engineer')
name: Adam age: 45 other: {'gender': 'M', 'job': 'Engineer'}

关键字参数有什么用？它可以扩展函数的功能。比如，在person函数里，我们保证能接收到name和age这两个参数，但是，如果调用者愿意提供更多的参数，我们也能收到。试想你正在做一个用户注册的功能，除了用户名和年龄是必填项外，其他都是可选项，利用关键字参数来定义这个函数就能满足注册的需求。

和可变参数类似，也可以先组装出一个dict，然后，把该dict转换为关键字参数传进去：

>>> extra = {'city': 'Beijing', 'job': 'Engineer'}
>>> person('Jack', 24, city=extra['city'], job=extra['job'])
name: Jack age: 24 other: {'city': 'Beijing', 'job': 'Engineer'}

当然，上面复杂的调用可以用简化的写法：

>>> extra = {'city': 'Beijing', 'job': 'Engineer'}
>>> person('Jack', 24, **extra)
name: Jack age: 24 other: {'city': 'Beijing', 'job': 'Engineer'}

**extra表示把extra这个dict的所有key-value用关键字参数传入到函数的**kw参数，kw将获得一个dict，注意kw获得的dict是extra的一份拷贝，对kw的改动不会影响到函数外的extra。