NVMe over RoCE 存储系统的网络应认真规划,下面以一个简单的系统为例说明:
- 一台双控制器(A控、B控)NVMe存储,每个控制器上有四个NVMe over RoCE的网口(A控A1-A4、B控B1-B4)
- 两台无损以太网交换机(交换机A、交换机B)
- 两台服务器(服务器1、服务器2)
- 每台服务器有两个RoCE网卡(服务器X网卡1、服务器X网卡2),每个网卡有两个网口(服务器X网卡1A、服务器X网卡1B、服务器X网卡2A、服务器X网卡2B)
- VLAN 123-124 用于 NVMe over RoCE、VLAN 99 用于业务网
交换机A的VLAN 123(192.168.123.0/24)用于传输NVMe over RoCE、交换机B用VLAN 124(192.168.124.0/24)用于传输NVMe over RoCE。无论是控制器、交换机、网卡坏任意一个,甚至每类都任意坏一个,均不影响业务连续性
接口 | 交换机链接 | VLAN | NVMe over RoCE IP |
存储A控A1 | 交换机A | 123 | 192.168.123.101 |
存储A控A2 | 交换机A | 123 | 192.168.123.102 |
存储A控A3 | 交换机B | 124 | 192.168.124.101 |
存储A控A4 | 交换机B | 124 | 192.168.124.102 |
存储B控B1 | 交换机A | 123 | 192.168.123.103 |
存储B控B2 | 交换机A | 123 | 192.168.123.104 |
存储B控B3 | 交换机B | 124 | 192.168.124.103 |
存储B控B4 | 交换机B | 124 | 192.168.124.104 |
服务器1网卡1A | 交换机A | 123 | 192.168.123.11 |
服务器1网卡1B | 交换机B | 99 | 业务网 |
服务器1网卡2A | 交换机A | 99 | 业务网 |
服务器1网卡1B | 交换机B | 124 | 192.168.124.11 |
服务器2网卡1A | 交换机A | 123 | 192.168.123.12 |
服务器2网卡1B | 交换机B | 99 | 业务网 |
服务器2网卡2A | 交换机A | 99 | 业务网 |
服务器2网卡2B | 交换机B | 124 | 192.168.124.12 |