NVMe over RoCE 要求无损网络，因此交换机和主机网卡均需要一些配置来保证无损。
QoS标记采用PCP为例，PCP是在VLAN标签中标记优先级，所以流量必须在VLAN中，Dorado 不是所有的前端接口卡都支持DSCP。
- 交换机启用PFC优先级3，1分钟发生死锁20次，关闭端口PFC
- 交换机配置PFC死锁检测，检测时间1000ms，恢复时间1500ms
- 交换机与存储和服务器链接用于NVMe over RoCE的所有端口配置PFC、VLAN和MTU
- 两台交换机使用不同的VLAN，防止出现跨交换机的流量
- 交换机在队列3启用AI-ECN并加载集中存储模型
- 交换机启用LLDP（iNOF的基本要求）
- 交换机启用简单的iNOF（默认域、无反射器）
dcb pfc nof
priority 3 turn-off threshold 20
#
dcb pfc deadlock-detect timer 1000
dcb pfc deadlock-recovery timer 1500
#
interface 25GE1/0/1
description Dorado-A
port link-type trunk
port trunk allow-pass vlan 123
stp edged-port enable
dcb pfc enable nof mode manual
jumboframe enable 5500
#
interface 25GE1/0/2
description Dorado-A
port link-type trunk
port trunk allow-pass vlan 123
stp edged-port enable
dcb pfc enable nof mode manual
jumboframe enable 5500
#
interface 25GE1/0/3
description Dorado-B
port link-type trunk
port trunk allow-pass vlan 123
stp edged-port enable
dcb pfc enable nof mode manual
jumboframe enable 5500
#
interface 25GE1/0/4
description Dorado-B
port link-type trunk
port trunk allow-pass vlan 123
stp edged-port enable
dcb pfc enable nof mode manual
jumboframe enable 5500
#
interface 25GE1/0/9
description Host-01
port link-type trunk
port trunk allow-pass vlan 123
stp edged-port enable
dcb pfc enable nof mode manual
jumboframe enable 5500
#
interface 25GE1/0/11
description Host-02
port link-type trunk
port trunk allow-pass vlan 123
stp edged-port enable
dcb pfc enable nof mode manual
jumboframe enable 5500
#
lldp enable
#
ai-service
#
ai-ecn
ai-ecn enable
assign queue 3 model ai_ecn_centralizedstorage
#
inof
#
return- 为确保 RoCE 流量无损，在 ESXi 主机中将 PFC 优先级值配置为 3
[root@yaoge123:~] esxcli system module parameters set -m nmlx5_core -p "pfctx=0x08 pfcrx=0x08"- 重启后查看，pfctx和pfcrx值均为0x08
[root@yaoge123:~] esxcli system module parameters list -m nmlx5_core | grep pfc
pfcrx int 0x08 Priority based Flow Control policy on RX.
Notes: Must be equal to pfctx.
pfctx int 0x08 Priority based Flow Control policy on TX.
Notes: Must be equal to pfcrx.
