家庭万兆网络搭建

背景

疫情原因在家闲来无事，故着手升级一下家庭网络到万兆。

考虑到今后会对集群测试有需求，故本次升级将搭建一台Homelab，运行ESXi方便创建虚拟机集群。同时软路由、NAS等常用设备也将部署在Homelab上。

配置清单

具体配置如下表所示：

部件	型号	数量
CPU	Intel Xeon GOLD 6139 QMTN QS	1
主板	SuperMicro X11SPA-TF	1
内存	三星32G DDR4 ECC REG 2400	6
网卡	Intel x520-SR2	2
网卡-直连线	SFP-H10GB-CU3M DAC 3M	4
散热器	Noctua NH-U12S DX-3647	1
硬盘	Intel P4600 2T	1
硬盘-转接线	PCIE3.0 X16 to U.2	1
阵列卡	LSI 9400-8i( Lenovo 530-8i)	1
阵列卡-转接线	SFF8643 to SFF8643	2
交换机	MikroTik CRS312	1
风扇	Thermalright TL-C12	2
电源	Seasonic PRIME GX850	1
机箱	RMC4124-670-HSE	1
机柜	-	1
UPS	-	1
硬盘	HUH721010ALE600 10T	8

主板PCIE插槽对应设备如下图所示：

插槽编号	设备	最高速率	实际速率
M.2-1	Intel Optane 16G M10	X4	X2
M.2-2	-	X4	-
M.2-3	-	X4	-
M.2-4	-	X4	-
PCIE-1	LSI HBA 9400-8i	X16	X8
PCIE-2	Intel X540-SR2	X8	X8
PCIE-3	Intel X540-SR2	X16	X8
PCIE-4	-	X8	-
PCIE-5	NEC USB 3.0 Host Controller	X16	X1
PCIE-6	-	X8	-
PCIE-7	Intel P4600 2T	X16	X4

常驻虚拟机

在Homelab上将会有以下三个常驻虚拟机，分别是：

• iKuai: 主路由，负责PPPOE、DHCP等
• OpenWrt：旁路由，包含科学上网等插件
• FreeNAS：NAS系统

网络拓扑

端口标签	序号	Device	IP	连接到	传输线缆标号	速率	备注
Onboard-IPMI	O1	IPMI	172.16.68.254	C1	RJ45	1G	IPMI专用
Onboard-1G	O2	vSphere	172.16.68.253	C2	RJ45	1G	vSphere管理界面专用
Onboard-10G	O3	iKuai WAN	-	Internet	RJ45	1G	非直通，占用10G端口
PCIE-光口1	P1	iKuai LAN	172.16.1.254	C9	DAC-A	10G	直通
PCIE-光口2	P2	OpenWrt	172.16.68.251	C10	DAC-B	10G	直通
PCIE-光口3	P3	FreeNAS	172.16.68.250	C11	DAC-C	10G	直通
PCIE-光口4	P4	SR-IOV	-	C12	DAC-D	10G	直通
CRS312-Console	C0	Console	172.16.68.252			-	虚拟端口
CRS312-电口1	C1	IPMI	-	O1	RJ45	1G	占用10G端口
CRS312-电口2	C2	vSphere	-	O2	RJ45	1G	占用10G端口
CRS312-电口3	C3	AP1	-	A1	RJ45	1G	占用10G端口
CRS312-电口4	C4	AP2	-	A2	RJ45	1G	占用10G端口
CRS312-电口5	C5	AP3	-	A3	RJ45	1G	占用10G端口
CRS312-电口6	C6	ZTB-ROG	-	Z1	RJ45	10G
CRS312-电口7	C7	XY-MBP	-	X1	RJ45	10G
CRS312-电口8	C8	-	-	-	-	10G
CRS312-COMBO1	C9	iKuai LAN	-	P1	DAC-A	10G	光口
CRS312-COMBO2	C10	OpenWrt	-	P2	DAC-B	10G	光口
CRS312-COMBO3	C11	FreeNAS	-	P3	DAC-C	10G	光口
CRS312-COMBO4	C12	SR-IOV	-	P4	DAC-D	10G	光口
AP1-电口	A1	AP1	172.16.68.240	C3		1G
AP2-电口	A2	AP2	172.16.68.241	C4		1G
AP3-电口	A3	AP3	172.16.2.254	C5	RJ45	1G	访客WiFi
ZTB-电口1	Z1	ZTB-ROG	-	C6	RJ45	10G
XY-电口1	X1	XY-MBP	-	C7	RJ45	10G	雷电3转10G电口

VLAN划分

为了部署访客网络，隔离本地设备，需要对VLAN进行划分。

VLAN划分如下表所示：

VLAN ID	IP范围	功能	归属
Default	172.16.1.1-172.16.1.253	保留	MGMT
Default	172.16.1.254	iKuai	MGMT
2002	172.16.2.1	VLAN Gateway	Guest
2002	172.16.2.2-172.16.2.253	AP3-DHCP	Guest
2002	172.16.2.254	AP3	Guest
2068	172.16.68.1	VLAN Gateway	Private
2068	172.16.68.2-172.16.68.159	DHCP	Private
2068	172.16.68.160-172.16.68.179	Dedicated	Private
2068	172.16.68.180-172.16.68.199	Dedicated	Private
2068	172.16.68.200-172.16.68.219	Dedicated	Private
2068	172.16.68.220-172.16.68.240	VM	Private
2068	172.16.68.240	AP1	Private
2068	172.16.68.241	AP2	Private
2068	172.16.68.242-172.16.68.249	Reserved	Private
2068	172.16.68.250	FreeNAS	Private
2068	172.16.68.251	Openwrt	Private
2068	172.16.68.252	Console	Private
2068	172.16.68.253	vSphere	Private
2068	172.16.68.254	IPMI	Private

VLAN划分完成后，将实现以下场景：

• 访客设备接入VLAN2002，不可访问VLAN2068的设备，不可科学上网
• 私人设备接入VLAN2068，可科学上网

具体网关由DHCP提供。

iKuai（主路由）设置

VLAN:

DHCP:

DNS:

OpenWrt（旁路由）设置

LAN:

科学上网插件自行设置。

CRS312（网管交换机）设置

管理IP:

Bridge:

Interface:

VLAN:

Port: