Ubuntu节点的万兆网搭建

之前用千兆网跑MXNet的分布式，由于训练数据量比较大并且通信比较频繁，网络通信开销太大，训练速度非常慢，正好实验室有闲置的万兆网设备（万兆网卡、万兆交换机），因此打算给各个工作节点配上万兆网卡（Chelsio T310），并共同接入万兆交换机（RackSwitch G8100）中，下面说一下具体过程。

将万兆网卡插入节点的PCI插槽中（节点要有空闲的PCI插槽才行）

（1）节点的系统是Ubuntu 14.04桌面版的，系统已经集成了相应的驱动，可以不用安装了，没有驱动的话也可以去网卡设备商官网下载安装即可。

（2）使用命令，查看是否安装成功。

lspci | grep 'et'

可以看到系统识别到了两个网卡，一个是千兆网卡，另一个是万兆网卡也就是刚刚安装的Chelsio T310。

使用命令，查看当前网卡IP的配置情况。

ifconfig

配置为外网，万兆网卡配置为内网。

修改网络配置文件：

sudo vim /etc/network/interfaces

# interfaces(5) file used by ifup(8) and ifdown(8)
auto lo
iface lo inet loopback
auto eth0
iface eth0 inet static
address 211.69.198.225
netmask 255.255.255.0
dns-nameservers *.*.*.*（自己的dns地址）
auto eth1
iface eth1 inet static
address 192.168.0.1
netmask 255.255.255.0

配置完后重启节点，再次使用ifconfig命令查看：

使用相同的方法，给另外一个节点IP配置成192.168.0.2，在节点1中，使用命令：ping 192.168.0.2，ping通了，说明网络可以连通，结果如下：

可以使用命令查看，结果如下：

nm-tool 

当然还是自己用命令测一下实际效果更踏实一点，我们使用iperf3命令测试，iperf3安装命令：

sudo apt-get install iperf3

服务端命令：

iperf3 -s

（1）测试千兆网：

iperf3 -c 211.69.198.225 （-c 参数后跟服务端的千兆网卡ip）

结果如下：

（2）测试万兆网：

iperf3 -c 192.168.0.1 （-c 参数后跟服务端的万兆网卡ip）

结果如下：

按以上方法给各个gpu节点搭建万兆网即可。