双12买的万兆网卡到货了,简单发给开箱,顺便说下我测试家庭万兆网络的过程和结果~
折腾了两天才成功~

先来看开箱:
网卡是山寨intel X520-DA1,82599ES芯片+山寨intel FTLX8571D3BCV-IT
之前买交换机的时候已经买过一套这个,装在主力台式机上,这次买这个是装在gen8上,gen8上有NAS,以及几个测试用的软路由,linux之类的
正面:

正面左边:

正面右边:

背面:

模块:


做工只能说一般吧~
装到gen8上稍微费了一点劲,档板螺丝扣略微有点误差,不过一使劲就行了,嘿嘿

下面就是做软件设置了,我的台式机和交换是设置好了的,这次只需要设置gen8
我的gen8上装的ESXI的虚拟机系统,NAS用的OMV
原来是有一块4口千兆网卡,直通两个口给OMV做的链路聚合,现在需要都全删掉,让网络恢复默认,虚拟机里面也需要添加上万兆虚拟网卡,这些就不说了

恢复默认后,首先需要在ESXI的网络里面添加网卡
打开宿主机配置面板,选中网络配置

点vSwith0后面的属性按钮

选在网络适配器

点"添加"在万兆网卡前面打钩

按他的向导,把万兆网卡设置为活动适配器,把原来的千兆网卡设置为待机适配器,这样即使这个网卡有啥问题,也不影响访问

添加完成后如下图:

然后在交换机上分别shutdown对应端口,看看这个活动和待机能否自动切换,是没有问题的,都能访问




然后就开始测试万兆网络(其实这时候还没完全设置好,没能发挥最大性能,后面会补充设置)
首先是从NAS复制文件到本机:

只有150M左右,感觉这个速度有点不对劲,不过以为是NAS上机械硬盘限制了(两个HGST NAS 3T做的RAID1),台式机上是OCZ的VECTOR 180,写入500左右

决定上纯网络测速软件,我用的IxChariot



结果才发现,同时上传下载死活只有双向都是5Gbps左右,顶多单边冒个尖到6-7Gbps
这个结果不对啊~
想了想,可能是以下几个原因:
1,CPU顶不住了,测试的时候CPU占用不低,I7 4790K,单核到了60%以上,不过82599是带硬件智能卸载的,而且单核也没跑满,可能是原因之一,但不是主要原因
2,IxChariot是C/S模式的,软件本身是有开销的,不过这个开销在小包的时候比较明显,但是我用的脚本虽然是高度重负载,不全是小包,这个脚本一般来说开销在6%左右,也不会有那么大
3,就是网络本身的开销过大,这个因为以前没怎么跑过万兆网络,难以判断开销大小,不过针对这个有方法降低,那就是改MTU,开启巨帧,可以大幅度降低

然后我就在整个链路上启用巨帧,ESXI里面把MTU改成9000,华为交换机默认开启了巨帧支持,MTU允许9216,82599windows这边选择开启巨帧支持到9214
设置的时候忘了截图,嘿嘿

果然结果还是比较满意的:
IxChariot上传下载分别单链路测试:

上传加下载可以达到9.7Gbps+7.4Gbps

多跑几条链路上传下载5+5:


基本可以跑满了

跑完以后看了下IxChariot的统计:平均上传加下载达到了:18349.294Mbps,算上软件和网络开销,确实是跑满了


这时候想想,可能复制速度也能有改善呢?在OMV里面,将MTU改到9000,果然,从NAS复制到本地速度再次提高,能达到230M/s左右:

这个速度应该是确实达到了机械硬盘极限了

至此测试完成,基本还是符合预期的


过程总结:
花了2个晚上,每次3,4个小时终于达成了这个结果
中途还怀疑gen8上的HP阵列驱动有问题,这个问题从ESXI5.5开始就有,结果现在还在,反复重装了驱动,还重装了ESXI6.5,又重装回6.0,结果还是用5.0的驱动效果最好,
还怀疑IxChariot的配置,反复配置了好几遍,还换了iperf3,证明不是软件问题
其实这些都能写成帖子,装ESXI一篇,升级到ESXI6.5,OMV还崩溃了,重装回6.0,还好虚拟机有备份,导入重新配置OMV又是一篇,中间还检查了GEN8的RAID配置,还好阵列没掉,这又可以写一篇
IxChariot这个软件也是比较牛逼的软件,他可以编写各种脚本,来拟合实际网络环境中的各种状态,我在公司生产环境中经常用,详细介绍又可以来一篇
不过中间调试的时候比较麻烦,我比较懒,就没怎么截图,估计截图了也懒得写那么多大文章........

关于家用万兆网络的总结:
1:成本:纯网络成本:交换机+2块万兆网卡+4个光模块这些就过4000了,还只是实现了NAS对主力台式机的万兆传输(其实交换机还有24个千兆口,是个三层交换机,vlan间路由也靠他,不过带万兆口的交换机也都不便宜),这还不算如果要高度利用万兆网络的SSD成本
2:应用:家里也就有NAS的时候需要用到了,拷贝速度确实快,即使是从机械硬盘上拷贝,因为现在NAS里面的仓库盘都比较大,外圈速度也可以上200M了,但是相比万兆还是只能用到1/5,除非NAS里面也上固态,不过SATA接口的固态也只到500M,也只能用到一半,要想跑满,估计只有上NVME的固态,然而主力台式机改全固态还有可能,NAS改固态,甚至全NVME固态,现阶段真真需要土豪啊~这个要普及,真不好说几年~
外网现在很多地方都普及200M或300M了吧~我这里联通和电信,只要想办,有光纤,联通就有300M,电信就有200M的.另外电信,移动,联通千兆也都开始测试了,不过需要特定地区,我这里3家运营商都可以申请千兆家宽,我弄了条电信的试验了下,城域网内测速跑满千兆没问题,然而用迅雷,好多热门种子加在一起,下载速度长时间平均也就在60M/s左右,系统占用太高,连接数太多.我这里外网几条线,加起来过千兆了,不过要整合起来并用上,又是一个大工程了,以后再说(太贵了...联通千兆10000一年,移动10086一年,电信只给测试,都是家宽).
3:技术上,现在光纤万兆已经比较成熟了,连接配置都比较简单,万兆以太网也还好,不过很多设备上默认是不开巨帧的,很多公司对巨帧的定义也不太一样,据说有可能会有奇怪的问题.电口万兆现在还很少,不过最近新出了不少电口万兆的网卡啊,交换机啥的,不过普及不及光口,二手货山寨货也不是很多~

恩,就这么多了~~~