ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

HCI 6.7.0R3超融合集群部署手册:规划、初始化与排障要点

HCI 6.7.0R3超融合集群部署手册:规划、初始化与排障要点

简介:《深信服超融合HCI用户及部署手册》面向技术服务工程师、运维人员及虚拟化平台规划者,围绕超融合架构认知、集群部署与日常运维提供系统参考,适合具备一定虚拟化基础、需要完成方案设计或现场实施的技术人员。资源包仅含1个PDF文件,大小约35.42MB,单文档结构完整,便于离线查阅与团队传阅,目前已有1250人学习。手册以HCI 6.7.0R3为版本基础,内容覆盖产品架构与云平台、aSV、aSAN、aNET等关键特性,并延伸至安装组网、配置要求、网络配置、系统部署及应用、运维管理和常见问题排查。目录层级清晰,既可用于部署前评估组网与资源规划,也可在实施和运维阶段对照功能说明与排错思路,帮助读者建立从架构理解到落地操作的完整知识框架。

1. 先看清这套 HCI 6.7.0R3 手册:它解决的不是“装一台虚拟化”,而是集群落地

拿到这套 HCI 6.7.0R3 用户及部署手册时,别急着把它当成“虚拟化安装说明书”。超融合真正难的不是装系统,而是把计算虚拟化、分布式存储、虚拟网络三条链路一次规划对:管理口、数据口、存储口怎么分,副本数和交换机 MTU 怎么配,仲裁节点什么时候必须上。手册覆盖架构、安装、集群初始化、虚拟机与虚拟网络配置、补丁升级和常见排查,适合技术服务工程师和运维人员照着落地。版本号 6.7.0R3、文档版本 01、发布日期 2022-09-14,查参数时先对齐这三项,再翻对应章节,能少走很多弯路。

2. 架构与选型:计算虚拟化、分布式存储、虚拟网络为什么要一起规划

超融合的架构页最容易被人一眼扫过去,但现场翻车往往就埋在这里。手册把云平台、计算虚拟化、分布式存储、网络虚拟化放在同一套资源池里讲,不是排版好看,而是这三者会互相抢资源:存储副本同步吃东西向带宽,热迁移同时吃管理网和数据网,快照合并又回头吃存储 IO。只按“三台服务器装虚拟化”的思路做选型,后面加主机、扩卷、迁业务时就会不断补坑。

2.1 三个资源池的耦合关系:计算虚拟化、分布式存储、虚拟网络

计算虚拟化负责虚拟机的生命周期,开机、迁移、快照、克隆都落在它这一层;分布式存储把每台主机的本地盘组织成共享卷,虚拟机磁盘并不是落在某一台主机的本地目录里;虚拟网络则通过物理出口和虚拟路由器把虚拟机接出去。三者最关键的耦合点是存储通信网络:副本写入、卷重建、跨主机迁移都走这条链路,它一旦和业务数据口混跑,表现不是“立刻断”,而是卷初始化慢、迁移慢、快照合并久,最后在业务高峰被放大。

我一般会先把副本数、存储网络带宽、MTU 这三项定下来,再回头填服务器和交换机配置。副本数决定写放大和可用容量,常见做法是生产卷至少两副本,节点规模和机架分布允许时再考虑三副本;存储网络建议独立端口和独立 VLAN,MTU 在主机侧和交换机侧统一,不要一边 1500 一边 9000。控制节点资源池也要单独留 CPU 和内存,不要和业务虚拟机挤在一起,否则集群管理面会先变慢。

资源池关键参数配错后的现场表现我一般怎么留余量
计算虚拟化CPU 超分比、内存预留、控制节点资源池虚拟机开机慢、批量迁移失败控制节点单独资源池,不混业务
分布式存储副本数、存储网络带宽、MTU卷初始化慢、快照合并久、重建时间长存储口独立,MTU 两端一致
虚拟网络VLAN、端口组、物理出口、虚拟路由器同主机通、跨主机不通先画 VLAN 表,再建端口组

这张表不是让你背参数,而是交付前逐项打勾。尤其是“同主机通、跨主机不通”这种现场,八成不是虚拟机系统问题,而是虚拟网络或物理出口的 VLAN 没放通。把三个资源池放在一张表里看,排查时才知道先查计算、存储还是网络,不会一上来就重装虚拟机。

2.2 标准集群与延伸集群:组网差异和仲裁节点选择

标准集群适合单机房,节点之间二层可达、延迟低,三节点起步是常见做法。延伸集群面向双站点,计算和存储跨站点拉通,必须引入仲裁节点来防脑裂;两主机防脑裂场景则用仲裁盒子,把仲裁链路独立出来。手册把仲裁节点配置要求单独列出来,不是可选附件,而是延伸集群能不能稳的前提。仲裁节点要独立于业务集群,网络要可达,跨站点路由和延迟要提前测,不要等集群建完再补。

组网注意事项里,交换机侧最容易漏的是端口组和链路聚合的对应关系。标准集群里管理、数据、存储可以走不同端口组,但交换机侧的 VLAN、聚合模式、MTU 必须和主机侧一致;延伸集群还要看跨站点三层链路是否稳定,仲裁链路不要和业务大流量混在同一条拥挤路径上。常见做法是先把仲裁节点接进来,确认仲裁状态正常,再添加业务主机,这样集群降级时还有回退空间。

场景节点规模仲裁方式网络要求适用边界
标准集群3 节点及以上不需要独立仲裁同机房二层可达、低延迟单机房生产集群
延伸集群双站点多节点仲裁节点跨站点三层可达,仲裁链路独立双站点容灾
两主机防脑裂2 节点仲裁盒子独立管理网络,接线固定小规模边缘场景

选型时不要只看“能不能建起来”,要看“降级时能不能说清楚”。延伸集群的仲裁节点配错,现场表现可能是集群能登录但状态降级,虚拟机操作变慢,严重时出现脑裂告警。我的习惯是先把仲裁节点的管理 IP、路由、接线位置写进交付表,再动集群初始化,后面排查不用靠猜。

2.3 安装前配置表:服务器、交换机、仲裁节点怎么留余量

安装前准备这部分,手册列了文档和工具准备、超融合集群配置要求、仲裁节点配置要求、交换机配置要求。现场真正要落的是几张表:服务器信息表、网络地址表、VLAN 表、仲裁节点表。服务器侧要确认 CPU 虚拟化开关、磁盘 RAID 级别、网卡数量和顺序、启动模式;交换机侧要确认端口组、VLAN、聚合、MTU;仲裁节点侧要确认供电、接线、管理地址和跨站点路由。少一张表,后面就可能把管理口和存储口接反。

我一般按这个顺序走:先收集服务器序列号和网卡 MAC,画一张物理拓扑;再分配管理网、数据网、存储网、仲裁网网段,留出连续 IP;然后核对交换机端口和 VLAN,把要聚合的端口成对标注;最后准备 ISO 或 U 盘安装介质。血泪经验是安装前不核对网卡顺序,装完发现存储口和管理口反了,重新插线还要改配置,业务窗口直接被拖掉一半。

检查项要确认的内容常见遗漏
服务器CPU 虚拟化、RAID、网卡顺序、启动项网卡标签和实际端口不一致
交换机VLAN、聚合模式、MTU、端口描述两端 MTU 不一致
仲裁节点管理 IP、路由、接线、供电仲裁链路和业务链路混跑
安装介质ISO 校验、U 盘可用性、安装文档版本版本号和交付版本对不上

这张表填完再开机,比装到一半发现问题更省时间。尤其是第三方服务器,RAID 和网卡顺序不先定,后面存储网络和物理出口的配置会跟着乱。手册给的是配置要求,现场要把它翻译成可打勾的交付表,不然“看过”不等于“做对”。

3. 部署流程拆解:从 ISO 安装到集群初始化的可复现路径

手册的安装部署章从安装组网、安装前准备、安装流程、虚拟化系统安装,一直写到仲裁节点接入、补丁升级和终端检测响应组件安装。实际交付不能按目录从头到尾念,我一般按“先组网、再装系统、再初始化、最后补丁和防护”的顺序推。跳过任何一步,后面都要用更多时间补,尤其是集群初始化和存储通信网络,返工成本最高。

3.1 安装介质与服务器配置:一体机和第三方服务器的分叉

预装一体机和第三方服务器的分叉点在服务器配置。一体机通常已经完成硬件和基础配置,重点核对版本、授权和网络口;第三方服务器要自己处理 RAID、BIOS 虚拟化、网卡绑定和启动顺序,再用 ISO 或 U 盘安装。手册把服务器配置、ISO 安装、U 盘安装分开写,现场就按这个分叉走,不要拿一体机的步骤硬套第三方服务器。

第三方服务器的步骤我一般这样排:先核对硬件兼容性和磁盘数量,再进 BIOS 打开 CPU 虚拟化相关选项,关闭不必要的节能策略;然后按副本规划做 RAID,系统盘和数据盘分开;接着给网卡贴标签,管理、数据、存储分别对应端口;最后做 ISO 启动盘或 U 盘启动盘,按安装向导走。安装过程中要看清磁盘选择,不要把系统装到准备做存储的盘上。

安装方式适用对象关键动作注意点
预装一体机已预装环境的设备核对版本、授权、网络口不要重复初始化
ISO 安装第三方服务器做启动盘、选磁盘、配网络磁盘顺序和 RAID 先确认
U 盘安装无远程镜像条件制作启动 U 盘、改启动项U 盘质量和接口版本会影响速度

安装完成后不要急着加主机,先登录单机管理面看时间、网卡、磁盘识别是否正常。存储盘少识别一块,后面创建卷时就会卡在容量和副本上;网卡顺序不对,管理通信口和数据通信口就会互相抢地址。这个阶段多做十分钟检查,比集群建好后迁虚拟机划算。

3.2 集群初始化:授权、集群 IP、时间、告警、加主机

集群初始化的顺序在手册里写得很清楚:授权激活、配置集群 IP、配置集群时间、配置告警通知、添加主机、设置控制节点资源池。现场最容易乱的是先加主机后配时间,结果主机认证过了但集群状态不正常。我的做法是先激活授权,再配集群 IP 和 NTP,确认时间一致后再添加主机,最后把控制节点资源池单独圈出来。

集群 IP 要放在管理网段,不要和业务数据网混在一起;NTP 用内网时间源,所有待加入主机先指向同一个源;告警通知可以选配,但生产环境建议把邮件或短信通道先配好,不然存储降级、节点离线只能靠人工发现。添加主机时看认证和网络连通性,添加完成后检查控制节点资源池的 CPU、内存预留,不要把管理组件和业务虚拟机挤在同一资源池。

初始化项参数怎么定失败时先看什么
授权激活按交付授权文件导入授权容量、有效期、节点数
集群 IP管理网段内固定地址管理口连通性、网关、ACL
集群时间内网 NTP 源主机时间偏差、NTP 可达性
告警通知邮件或短信通道通道配置、触发测试
控制节点资源池预留 CPU 和内存是否被业务虚拟机占用

这张表里,时间同步是很多玄学问题的源头。添加主机失败、集群状态异常、日志时间对不上,先查 NTP 往往比翻存储日志快。控制节点资源池也是同理,管理面变慢不一定是存储性能不够,可能是控制节点和业务虚拟机抢 CPU。

3.3 存储与通信网络:管理口、数据口、存储口、卷创建

管理通信口、数据通信口、存储通信网络要分开看。管理口承载集群管理、Web 登录、告警;数据口承载虚拟机业务流量;存储口承载副本同步、卷重建、迁移数据。手册把配置存储通信网络和创建卷分开写,现场顺序应该是先配管理通信口,再配数据通信口,最后配存储通信网络并创建卷。顺序反了,卷创建时可能找不到可用存储网络。

存储通信网络建议独立 VLAN,MTU 和交换机一致,IP 网段单独规划。创建卷时先建普通卷,延伸集群场景再建延伸卷;副本数按节点规模和机架分布选,不要为了容量把副本压到 1。卷创建后看健康状态和重建进度,不要立刻压业务。物理出口还没配好时,虚拟机可以先不接业务网络,但存储网络必须先通,否则虚拟机磁盘读写会先出问题。

通信口用途网段建议注意点
管理通信口集群管理、登录、告警独立管理网段不要和业务数据口混用
数据通信口虚拟机业务流量按业务 VLAN 规划和物理出口端口组对应
存储通信网络副本同步、迁移、重建独立存储网段MTU 两端一致,带宽留余量

卷创建完成后,我一般会做一次小文件写入和跨主机迁移验证,确认存储网络真的在走独立链路。只看管理面显示“健康”不够,业务一压才知道带宽和 MTU 有没有配错。这个阶段把存储口和业务口分开,后面排查虚拟机性能问题会少很多干扰项。

3.4 物理出口与三网/四网合一:什么时候合,什么时候不合

物理出口是虚拟网络接外部世界的口子,多网段端口组和单网段端口组对应不同业务规模。手册还给了三网合一、四网合一方案,适合小规模或预算有限的场景,把管理、数据、存储等网络合并到少量链路。但生产核心业务不建议为了省交换机端口硬合,存储副本同步和业务高峰撞在一起,表现就是虚拟机卡顿、迁移慢、卷重建时间长。

我一般先按独立网络规划,确认交换机和网卡资源不够时再考虑合一。做物理出口时先建端口组,绑 VLAN,再挂到虚拟路由器或直接给虚拟机使用;多网段端口组要确认 VLAN 范围和上行链路一致。三网合一、四网合一方案上线前,必须做跨主机虚拟机通信和存储压力验证,不能只看管理面通不通。

方案合并内容适用场景风险点
独立网络管理、数据、存储分开生产核心业务端口和交换机资源要求高
三网合一部分管理、数据、存储合并小规模集群存储流量可能抢业务带宽
四网合一多类网络进一步合并资源受限环境排障边界变模糊

物理出口配错最典型的现场是“同主机虚拟机互通,跨主机不通”。先查端口组 VLAN 是否放通,再查物理出口绑定的上行链路,最后看虚拟路由器路由和 NAT。不要一上来改虚拟机 IP,很多问题在出口和端口组这一层。

4. 虚拟机与虚拟网络落地:新建、导入、迁移、快照和 QoS 的配置顺序

虚拟机配置指导覆盖新建虚拟机、安装操作系统、导入 ova/ovf、P2V 迁移、克隆、模板部署,以及性能优化工具、USB 管理、磁盘扩容、裸磁盘映射、VHD 磁盘、虚拟机编辑、导出、热迁移、跨集群迁移、快照、一致性组快照、快照策略、vGPU 管理、报表和 QoS。现场不要按功能菜单一个个点,按“先模板再批量,先优化工具再压测,先快照策略再上线”的顺序推,返工最少。

4.1 新建与导入:全新安装、ova/ovf、P2V、克隆模板

全新虚拟机适合干净部署,创建时先定 CPU、内存、磁盘和网络,再挂 ISO 安装操作系统。导入 ova/ovf 适合从外部虚拟化平台迁移,注意虚拟硬件版本和驱动兼容;P2V 迁移适合物理机转虚拟机,驱动和网络配置要在迁移后检查;克隆分全量克隆、快速全量克隆、链接克隆,链接克隆省空间但依赖母盘,母盘一动就可能牵连一批虚拟机。模板部署适合批量交付,先把补丁、优化工具、监控 Agent 装好再转模板。

方式适用场景注意点
全新安装新业务、干净环境磁盘和网络先规划
导入 ova/ovf外部平台迁移虚拟硬件版本、驱动
P2V 迁移物理机转虚拟迁移后检查网卡和存储驱动
链接克隆快速批量测试依赖母盘,不适合长期生产
模板部署标准化交付模板先打补丁和优化工具

克隆和模板最容易出的问题是“母盘带病”。模板里如果残留旧 IP、旧主机名、旧监控配置,批量部署后每一台都要改。我一般先把模板关机清理,再转模板;链接克隆只给测试环境用,生产批量优先快速全量克隆或模板部署。

4.2 性能优化与磁盘:优化工具、扩容、裸磁盘映射、VHD

性能优化工具分 Windows 和 Linux 两种安装方式,装完再压测,不要拿没装优化工具的虚拟机跑基准。卸载优化工具也要按系统走,避免残留驱动。USB 管理、磁盘扩容、裸磁盘映射、VHD 磁盘、虚拟机编辑这些功能,现场要按业务边界用:系统盘扩容前先做快照,裸磁盘映射适合需要直接访问物理盘的业务,VHD 磁盘要确认格式和挂载方式。

操作关键动作风险控制
安装优化工具按系统类型装对应版本和虚拟机系统版本匹配
磁盘扩容先扩虚拟磁盘,再进系统扩分区扩容前打快照
裸磁盘映射绑定物理磁盘或 LUN确认业务是否支持直通
VHD 磁盘挂载 VHD 格式磁盘确认格式和读写权限

磁盘扩容不是点一下“扩容”就完事,虚拟磁盘扩完还要进系统扩分区和文件系统。Windows 和 Linux 的操作路径不同,手册分开写是有原因的。我一般要求扩容前先做快照,扩容后验证业务读写,再删快照,别把后悔药提前扔掉。

4.3 迁移、快照与一致性组:热迁移、跨集群迁移、快照策略

热迁移支持批量操作,适合计划内维护;跨集群迁移适合机房搬迁或资源池调整。迁移前看 CPU 兼容性、网络连通性和存储可用容量,迁移中看任务进度,迁移后验证业务。快照不是备份,一致性组快照面向多磁盘业务一致性,快照策略适合周期性保护,但快照链不能无限长,合并慢会拖累存储性能。

功能适用场景注意点
热迁移单集群内维护主机资源、网络、CPU 兼容
跨集群迁移资源池调整、搬迁目标集群容量和网络
普通快照单虚拟机短周期保护快照链长度
一致性组快照多磁盘业务一致性按业务编排,不混用
快照策略周期性保护策略覆盖范围和保留数

关键业务我一般用一致性组快照,普通快照只做临时操作前保护。快照策略要设保留数和执行窗口,不要和备份任务撞在一起。QoS 的 CPU 频率限制和磁盘 IO 限制适合隔离突发业务,但不要给核心业务压太低,否则业务高峰期会先被限速。

4.4 虚拟网络:物理出口、虚拟路由器、端口组规划

虚拟网络落地顺序是物理出口、端口组、虚拟路由器,再给虚拟机网卡挂端口组。物理出口分多网段端口组和单网段端口组,虚拟路由器负责跨网段路由和 NAT。端口组命名要带业务和 VLAN,不要用默认名称,否则虚拟机一多就分不清。跨主机不通时,先查端口组 VLAN,再查物理出口上行,最后查虚拟路由器路由。

对象作用配置要点
物理出口连接外部物理网络上行链路、VLAN、端口组
端口组虚拟机网卡接入点命名带业务和 VLAN
虚拟路由器跨网段路由、NAT路由表、NAT 规则、安全策略

物理出口改 VLAN 属于高风险操作,先在测试端口组验证,再切业务。虚拟路由器上线前把默认路由、回程路由和 NAT 规则写清楚,不然后面查故障只能靠抓包。

5. 避坑与排查:部署 HCI 时最容易翻车的 5 个现场

手册有常见问题与排查章节,但现场翻车往往不是单点故障,而是几个配置互相叠加。血泪经验是先查时间、网络、仲裁,再查存储和快照,顺序反了会把简单问题查成复杂问题。下面五类现场问题,基本覆盖了交付初期最容易踩的坑。

5.1 五类现场问题速查

第一类,添加主机失败。现象是主机认证卡住或加入后集群状态异常;原因常见是 NTP 未统一、管理网 ACL 拦截、集群 IP 和主机管理口不在同一可达网段;解决是先校时,再测管理口连通性,最后看认证日志。不要先重装主机,时间不同步时重装也会复现。

第二类,卷创建慢或存储告警。现象是卷初始化时间长、跨主机迁移慢、快照合并久;原因常见是存储通信网络和业务数据口混跑、MTU 两端不一致、链路聚合模式不匹配;解决是独立存储口、统一 MTU、核对交换机聚合配置,再用小文件写入和迁移验证。存储问题不要只看管理面健康状态,要压一点业务流量看表现。

第三类,延伸集群仲裁节点接入失败。现象是集群能登录但状态降级,或仲裁节点离线;原因常见是仲裁节点配置要求不满足、跨站点路由不通、仲裁链路和业务链路混跑;解决是按配置要求核对仲裁节点资源,先通管理路由和仲裁路由,再接入集群,接线位置拍照留档。仲裁节点变更要选维护窗口,不要在生产高峰操作。

第四类,虚拟机跨主机不通。现象是同主机虚拟机互通,跨主机不通;原因常见是物理出口端口组 VLAN 未放通、虚拟路由器回程路由缺失、安全策略拦截;解决是按“端口组 VLAN、物理出口上行、虚拟路由器路由、安全策略”逐跳查,不要先改虚拟机 IP。物理出口改 VLAN 先小范围验证,再切业务。

第五类,快照策略恢复不一致。现象是数据库恢复后数据不一致,或快照合并慢;原因常见是普通快照和一致性组快照混用、快照链过长、没有做恢复演练;解决是关键业务用一致性组快照,控制快照保留数,定期做恢复演练。快照不是备份,这条边界要在交付时就写进操作规范。

5.2 排查顺序与回退边界

排查顺序我一般固定为:物理链路、管理网、时间同步、集群状态、存储网络、虚拟网络、业务验证。物理链路看指示灯和交换机端口,管理网看 IP 和 ACL,时间同步看 NTP,集群状态看节点和仲裁,存储网络看 MTU 和带宽,虚拟网络看 VLAN 和路由,最后才进虚拟机看业务。这个顺序能把“黑匣子”拆成可验证的段。

回退边界要提前定:补丁升级前做配置备份和关键虚拟机快照;仲裁节点变更选维护窗口;物理出口改 VLAN 先小范围验证;存储卷扩容前确认容量和副本;快照策略调整先看保留数和执行窗口。后悔药不是出事后再找,而是操作前就准备好。交付记录里写清楚每一步的回退动作,后面交接不用靠口口相传。

6. 进阶验证:用一套巡检表把“能登录”变成“敢承载业务”

部署完成不等于交付完成,能登录管理面只是最低门槛。我一般用三张表做进阶验证:集群健康表、网络路径表、恢复演练表。集群健康表看节点状态、仲裁状态、存储卷健康、控制节点资源池余量;网络路径表看管理网、存储网、业务 VLAN、物理出口和虚拟路由器;恢复演练表看快照恢复、迁移回退、补丁回滚。表格不需要花哨,关键是每项有通过标准和失败动作。

验证项操作通过标准失败动作
集群健康平台自检工具跑一遍节点在线、仲裁正常、卷健康先查时间和存储网络
网络路径跨主机虚拟机互 ping、业务端口验证管理、存储、业务均通按端口组 VLAN 逐跳查
存储压力小文件写入、跨主机迁移迁移完成、无存储告警查 MTU 和带宽
恢复演练选测试虚拟机做快照恢复数据一致、业务可启动检查快照链和一致性组
补丁基线对照版本和补丁记录版本一致、无遗漏补丁回退到升级前快照

6.1 三张巡检表

集群健康表放在交付前跑,网络路径表放在业务割接前跑,恢复演练表放在上线后一周内跑。三张表都过,再谈“敢承载业务”。尤其是恢复演练,很多团队只做快照不做恢复,真出事才发现快照链有问题。需要原版手册的,在文末入口自取,按目录查参数比翻聊天记录可靠。

6.2 交付前的一遍强制动作

从那以后我每次交付前都强制走一遍三张表:集群健康、网络路径、恢复演练。不是信不过平台,而是现场变量太多,靠记忆总会漏一项。希望帮到你。

本文还有配套的精品资源,点击获取

返回列表