VMware ESXi 配置 NVMe over RoCE

NVMe over RoCE 的相关配置需要在 vCenter Server Client 下面操作，ESXi Host Client 下是没有相关选项的，至少图形界面是这样，用 esxicli 估计可以直接在 ESXi 下面配置。所以需要先用本地的盘部署一套VCSA，精简配置大约150GB就够了，等NVMe配置好再迁移到存储上。

• 在配置-网络-RDMA 适配器下确认RDMA适配器（vmrdmaX）对应的物理网络适配器（vmnicX），可通过交换机 shutdown 等方法确认规划用于 NVMe 的端口对应的物理网络适配器名称。
  如 vmrdma0 对应 vmnic2、vmrdma3 对应 vmnic5。
• 在配置-网络-虚拟交换机下添加网络，选择 VMkernel 网络适配器、选择新建标准交换机、输入MTU（Dorado 推荐5500），选择一个用于NVMe的物理网络适配器，VLAN ID 填写对应交换机的 NVMe over RoCE 用 VLAN，可用服务中仅勾选 NVMe over RDMA，配置静态IPv4地址。
• 重复上述过程，为每个 NVMe 端口对应的物理网络适配器创建独立的虚拟交换机并配置独立的 VLAN、独立的 VMkernel 端口，实现每个 VMKernel 和物理网络适配器之间一一映射。
  如 vSwitch1 绑定物理网络适配器 vmnic2、VMkernel 端口 vmk1 192.168.123.11、VLAN ID  123；vSwitch2 绑定物理网络适配器 vmnic5、VMkernel 端口 vmk2 192.168.124.11、VLAN ID  124。
• 在配置-存储-存储适配器-添加软件适配器，添加 NVMe over RDMA 适配器，选择对应的RDMA设备。重复该过程为每个 NVMe 的 RDMA适配器 添加 软件适配器。
  如为 vmrdma0 添加 vmhba64，为 vmrdma3 添加 vmhba65
• 在配置-存储-存储适配器中，选中刚刚添加的vmhbaXX（VMware NVME over RDMA Storage Adapter），在控制器中添加控制器，填写子系统NQN（存储的NQN）、该网络对应VLAN下的存储IP，保持活动时间 Dorado 推荐5秒，重复此过程添加存储在该VLAN下的所有IP。
  如 vmhba64 添加有 192.168.123.101-104 四个控制器
• 重复上述过程给剩下的 vmhbaXX 添加控制器。
  如 vmhba65 添加有 192.168.124.101-104 四个控制器
• 复查所有访问路径 esxcli nvme fabrics connection list
• 上述的每个控制器如果都可以访问同一个LUN，那么每一个都是一个多路径。7.0最多4条，8.0最多8条，8.0U1最多32条。
• 最终结果如下表所示，8个路径 = 2个物理网络适配器 x 4个控制器