nvidianvlink互联与nvswitch介绍兰塔岛
⼀.动机
我是一个女人在nvidia推出⽬前这个⽅案之前，为了获得更多的强⼒计算节点，多个GPU通过PCIe Switch直接与CPU相连。
他们之间的pcie 3.0*16有接近32GB/s的双向带宽，但是当训练数据不停增长的时候，这个互联⽅案本⾝却成为了致命的系统瓶颈。如果不改进这个互联带宽，那么新时代GPU带来的额外性能就没法发挥出来，从⽽⽆法满⾜现实需求负载的增长。
米饼
⼆.NVLink
为了解决这个问题，nvidia开发了⼀个全新的互联构架nvlink。单条nvlink是⼀种双⼯双路信道，其通过组合32条配线，从⽽在每个⽅向上可以产⽣8对不同的配对（2bi*8pair*2wire=32wire），第⼀版的实现被称为nvlink 1.0，与P100 GPU⼀同发布。⼀块P100上，集成了4条nvlink。每条link具备双路共40GB/s的带宽，整个芯⽚具备整整160GB/s的带宽。
当然，nvlink不仅仅只是限定在GPU之间互联上。IBM将nvlink 1.0添加到他们基于Power8+微架构的Power处理器上，这⼀举措使得
P100可以直接通过nvlink于CPU相连，⽽⽆需通过pcie。通过与最近的power8+ cpu相连，4GPU的节点可以配置成⼀种全连接的mesh 结构。
2020年元旦
2.1DGX-1
第⼀种nvidia专门为AI加速订制的机器叫做dgx1，它集成了⼋块p100与两块志强e5 2698v4，但是因为每块GPU只有4路nvlink，这些GPU构成了⼀种混合的cube-mesh⽹络拓扑结构，GPU被4块4块分为两组，然后在互相连接。
小黄车怎样退钱同时，因为GPU需要的pcie通道数量超过了芯⽚组所能提供的数量，所以每⼀对GPU将连接到⼀组pcie switch上与志强相连，然后两块志强再通过qpi总线连接。
6块P100，每块16GB HBM2显存，总计128GB显存和512GB DDR4-2133系统内存。
2.2 nvlink 2.0
nvlink的第⼆个版本与gv100⼀同⽽来。IBM计划在Power9 cpu上给与⽀持。nvlink 2.0提升了信号的传输率，从20Gb/s到了
25Gb/s，双信道总计50GB/s，pre nvlink。同时进⼀步提升了nvlink数到6路。这些举措让v100的总带宽从p100的160GB/s提升到了300GB/s。
顺便说下，除了带宽的增长，nvidia还添加了数个新的operational feature到协议本⾝。其中最有意思的⼀个特性是引⼊了coherency operation缓存⼀致性操作，它允许CPU在读取数据时缓存GPU显存信号，这将极⼤的降低访问延迟。
去年nvidia将原始dgx-1升级到v100架构。因为主要的cube-mesh拓扑结构并没有变化，所以多出来的link⽤来倍化⼀些GPU之间的互联。
2.3 DGX-2
最近的GTC2018发布的dgx-2，其加倍了v100的数量，最终⾼达16块v100。同时hbm2升级到32GB/块，⼀共⾼达512GB，cpu升级为双路2.7G 24核 志强⽩⾦8168.
情感语言升级到16块GPU，对于系统⽽⾔也要做出巨⼤的改变，特别是更快更⼤的互联⽹络带宽。
2.4 NVSwitch
那么dgx-2中装载的是什么呢，是⼀块新的asic - nvswitch。nvswitch是⼀块独⽴的nvlink芯⽚，其提供了⾼达18路nvlink的接⼝。这块芯⽚据说已经开发了两年之久。其⽀持nvlink 2.0，也就意味着每个接⼝均能提供双信道⾼达50GB/s的带宽，那么这块芯⽚总计能够提供900GB/s的带宽。这块芯⽚功率100w，基于台积电12nm FinFet FFN nvidia订制⼯艺，来源于增强的16nm节点，拥有2b个晶体管。
这块die封装在1940个pin⼤⼩为4cm2的BGA芯⽚中，其中576个针脚专门服务于18路的nvlink，剩下的阵脚则⽤于电源，或者其他I/O 接⼝，⽐如⽤于管理端⼝的x4 pcie，I2c，GPIO等等。正宗椒麻鸡
通过nvswitch提供的18路接⼝，nvswitch能够让nvidia设计出完全⽆阻塞的全互联16路GPU系统。每块v100中的6路nvlink将分别连接到6块nvswitch上⾯。这样8块v100与6块nvsiwtch完全连接，构成⼀个基板。
dgx2拥有两块基板，这两块基板则是通过nvswitch剩余的另⼀侧接⼝完全互联在⼀起，这就构成了⼀个16路全连接的GPU构架。小小少年歌词
