ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

信创云平台建设方案:一云多芯异构算力统一纳管实践指南

信创云平台建设方案:一云多芯异构算力统一纳管实践指南 简介《信创云平台建设方案》是一份面向政企信息化规划、云平台架构设计及信创项目申报人员的完整方案范文/模板。方案聚焦国内信息技术自主创新云平台中核心技术受限、业务环境不可控、安全能力不足、缺乏适配环境等痛点按入驻基地、搭建信创云、现场适配截图展示三大模块展开涵盖项目改造意义、目标与内容、需求分析自主可控、网络/计算/存储资源池、云管理平台、云备份、运维及安全系统以及云平台基础设施区设计可直接用于方案撰写、汇报演示或投标参考。资料包共1个文件为DOCX格式大小29.58MB文档目录结构完整包含GxxCxxH CPU、操作系统、数据库软件分析及安全风险等细节内容便于读者按章节查阅和二次编辑。目前已有1446人学习下载适合需要快速输出信创云建设方案或进行信创项目规划的从业者。1. 信创云平台不是什么从“国产替换”到“异构算力重构”提到信创云平台建设方案很多人的第一反应是把 OpenStack 装到鲲鹏服务器上或者找几个国产软件厂商拼凑一套虚拟化环境。真做过的人会告诉你这个想法离落地差着十万八千里。信创云平台建设的核心难点从来不是“装系统”而是异构算力的统一纳管——你的机房里有鲲鹏、飞腾、海光它们指令集不同、虚拟化能力不同、生态成熟度也不同要在一个云平台里把这些资源池化成“无差别算力”对外提供服务这才是方案里真正需要反复论证的部分。这篇文章不聊政策只聊一件事一份能落地、能过评审、能扛住业务迁移的信创云平台建设方案应该把力气花在哪里。适合正在写方案、做技术选型或者准备启动迁移的人往下看。2. 总体架构设计从“堆硬件”到“分资源池”的关键三层2.1 信创云和传统云平台的本质差异在哪里传统 x86 云平台建设硬件是同构的服务器型号可能有差异但指令集一致、虚拟化实现一致云平台软件面对的是一个“均匀”的资源池。信创云不一样最典型的情况是一期采购了鲲鹏 920二期因为成本或供货原因补了一批飞腾 S2500还有部分老旧业务跑在海光或者兆芯上。这些 CPU 的指令集分属 ARM 和 x86 两大阵营虽然都支持虚拟化但实现细节差异很大。这个差异直接决定了总体架构的设计逻辑。我一般会把信创云平台的定义拆成三层来看层级核心职责信创场景的特殊性基础设施层服务器、存储、网络硬件异构 CPU 混布网络设备国产化率不一云平台软件层计算虚拟化、SDN、分布式存储需自研或基于开源二次开发以适配多架构云服务层IaaS/PaaS 服务目录、运维运营需兼容多架构镜像管理、迁移工具链传统方案里这三层是相对独立的选完硬件再选软件就行。信创方案里云平台软件层必须承担“异构屏蔽”的职责它不能只认一种 CPU。这就带来一个硬约束你选的云平台软件必须支持一云多芯而不是针对每种 CPU 各建一套云。各建一套的后果是资源割裂、运维翻倍业务根本没法在池子之间漂移。2.2 资源池规划主算力池、GPU 池、裸金属池怎么划资源池划分是方案里最容易被低估的环节。常见做法是把信创云平台的资源池分成三类分别对应不同的业务特征。第一类是主算力池承载常规的虚拟机业务比如 OA、邮件、一般业务系统。这个池子建议按 CPU 架构再细分ARM 池和 x86 池分开因为镜像不通用、性能特征也不同。但对外提供的云主机规格要统一命名用户不感知底层是鲲鹏还是海光。第二类是 GPU 算力池现在很多单位在跑深度学习训练或者信创实时云渲染这类业务对 GPU 直通和虚拟化有强诉求必须独立规划不能和普通虚拟机混布。第三类是裸金属池给数据库、大数据这类需要独占硬件性能的业务用通过 Ironic 组件纳管。资源池划分完之后要在方案里定义清楚配额和可用域的关系。我见过不少方案把可用域直接等同于资源池导致一个可用域故障会影响所有业务。更稳妥的做法是可用域按机房或机柜维度划分资源池作为调度维度存在两者解耦。2.3 管理平面与服务目录的设计原则管理平面是信创云平台的“大脑”它的设计原则决定了后期运维的天花板。基于 OpenStack 或兼容 OpenStack API 的产品化平台是当前最主流的选择核心组件包括 Keystone认证、Nova计算、Neutron网络、Cinder块存储、Placement资源调度、Glance镜像。在信创场景下有两个额外要点。第一管理平面自身的国产化。数据库、消息队列、缓存这些支撑组件也要跑在国产环境上比如用 openGauss 或达梦替代 MySQL用鲲鹏或飞腾服务器部署管理节点。这一点很容易在方案里被忽略等评审专家问“管理面是不是全信创”的时候再补就晚了。第二服务目录要按能力分层。IaaS 层提供云主机、云硬盘、VPCPaaS 层按需提供容器服务、中间件再往上是运维运营平台。信创项目不建议一上来就铺太多服务先把 IaaS 做扎实PaaS 按业务需求逐步开放。下面是一个服务目录的 YAML 定义片段可以放在方案附录里。service_catalog: compute: - name: 通用计算型 flavors: [s2.xlarge.arm, s2.xlarge.x86] - name: 高性能计算型 flavors: [c3.2xlarge.arm] extra_specs: cpu_policy: dedicated numa_fit: required gpu: - name: 渲染型 flavors: [g1.xlarge] resources: { pci_passthrough: true } storage: - name: 性能型 backend: ceph-ssd capacity_gb: 10240 - name: 容量型 backend: ceph-hdd capacity_gb: 51200这段定义的核心是把资源规格和物理架构解耦用户看到的 flavor 名称不带架构标识但调度器知道 s2.xlarge.arm 只能落在 ARM 计算节点上。GPU 池单独用 pci_passthrough 标识避免普通规格的虚拟机被调度到 GPU 节点上。方案的思路是服务目录面向消费侧设计架构差异收敛在调度策略里而不是暴露给用户。3. 技术选型的关键决策点CPU、操作系统与云平台软件3.1 CPU 选型鲲鹏、飞腾、海光怎么配比CPU 选型是信创云平台建设方案里最敏感也最容易被“指导”的环节这里不讨论怎么选品牌只讨论技术评估维度。从虚拟化支持和生态成熟度两个维度看当前主流选项有四个区别很具体。处理器架构虚拟化特性生态成熟度常见定位鲲鹏 920ARMv8.2KVM 支持好虚拟化扩展齐全较高华为生态完整主算力池主力飞腾 S2500ARMv8KVM 支持性能较鲲鹏略弱中需关注内核驱动低成本算力池海光 7000 系列x86AMD Zen 架构授权虚拟化支持成熟兼容 x86 生态高软件兼容性好存量 x86 业务迁移首选龙芯 3C5000LoongArch虚拟化支持逐步成熟较低需深度适配特殊合规场景选型时我一般会给三类配比建议。第一如果存量业务大部分是 x86 的海光是最平滑的迁移目标因为指令集兼容多数软件无需重新编译就能跑。第二新建系统优先落在 ARM 平台上因为信创建设的长期方向是 ARM 生态越早适配越主动。第三GPU 服务器优先选海光或鲲鹏搭配国产 GPU 卡因为 GPU 厂商对这两类 CPU 的驱动适配做得最勤快。还有一个容易被忽略的点同一型号 CPU 在不同固件版本下的虚拟化能力差异很大。比如某些批次的服务器的虚拟化特性需要更新 BIOS 才能完全释放。方案里应当明确要求硬件厂商提供固件版本说明和虚拟化特性验证报告这一步能省掉后面大量“玄学性能问题”。3.2 操作系统选型麒麟还是统信兼容矩阵怎么列操作系统选型直接影响云平台软件能不能跑起来。当前信创云平台的操作系统主要就两个方向麒麟 V10 和统信 UOS。两者都基于 Linux但内核版本、glibc 版本、默认安全策略有差异不能直接划等号。我的建议是管理面和计算面分开选。管理面选稳定性优先的操作系统因为云平台控制组件对内核版本敏感计算面选和虚拟化内核特性兼容性更好的版本。举例来说如果云平台软件的 compute 节点依赖 KVM 的特定能力比如嵌套虚拟化、NUMA 感知调度就要确认操作系统的内核是否开启了对应特性。这需要做一张兼容矩阵把云平台软件每个组件的版本、依赖的内核特性、操作系统版本三列对齐。另一个实操点ARM 架构和 x86 架构的操作系统镜像是不能互用的。云平台软件要支持两种渠道获取镜像一是从操作系统厂商的官方源拉取二是用厂商提供的镜像制作工具自行构建。方案里要明确镜像统一管理的责任方通常建议由云平台运维团队负责镜像的定期更新和架构打标防止业务部门自带的镜像引发兼容性问题。3.3 云平台软件开源 OpenStack、商业发行版、产品化私有云怎么取舍这是信创云平台建设方案里最核心的单选题。三条技术路线各有各的适用面我按自己的项目经验做一个直接的判断标准。第一纯开源 OpenStack 社区版。适合有 5 人以上专职 OpenStack 研发团队的单位特点是可控性强、成本透明但版本升级和故障排查的压力全在自己身上。信创场景下要自己解决麒麟和 UOS 上各组件的编译、依赖、补丁问题工作量大到超乎想象。没有专职团队的单位不要选这条。第二商业发行版比如基于 OpenStack 的国产化商业版本。这个路线的优势是厂商做过了信创适配包括操作系统兼容性验证、ARM 架构性能优化、安全加固等。缺点是需要购买授权且要评估厂商在信创方向的投入持续性。第三产品化私有云平台比如 ZStack、云宏这类产品形态。它们的优势是部署快、运维简单web 界面就能完成大部分管理操作劣势是 OpenStack API 兼容度参差不齐如果后续要迁移到其他平台可能会遇到接口限制。评估维度开源 OpenStack商业发行版产品化私有云交付周期3-6 个月1-3 个月2-4 周信创适配成本高自行解决低厂商已适配低已适配运维人力需求高中低OpenStack API 兼容完全完全视产品而定长期演进可控性高中低我给大多数单位的建议是如果团队没有 OpenStack 内核级开发能力优先考虑商业发行版或产品化私有云把精力留给业务迁移而不是消耗在平台本身的适配工作上。3.4 存储与网络选型分布式存储和 SDN 方案怎么定存储选型是信创云里翻车率最高的环节之一。最常见的选择是 Ceph 分布式存储因为它软件定义、开源、生态成熟但跑在 ARM 架构上时性能表现差异很大。Ceph 在 ARM 上的性能问题主要集中在三个地方BlueStore 的 RocksDB 在 ARM 上性能衰减明显OSD 进程对内存带宽的依赖在 ARM 多核架构上不容易吃满网络栈的 NUMA 亲和性需要额外调优。如果业务对存储性能要求高建议采用“分布式存储 集中式存储”双轨方案普通业务走 Ceph 池数据库和关键业务走集中式国产存储比如华为 OceanStor 或浪潮存储的国产化型号。虽然成本高一些但能避免在存储性能问题上反复折腾。网络方面信创场景的 OpenStack 云平台基本都用 Neutron OVS/OVN 的组合VXLAN 作为大二层网络封装。需要重点关注的是国产交换机的 VXLAN 卸载能力如果交换机不支持 VXLAN 硬件卸载所有 Overlay 流量都要走软件转发性能会大打折扣。方案里要明确列出来计算节点网卡要支持多队列、要开启 tuned 或 irqbalance 优化TOR 交换机要确认 VXLAN 隧道模式支持情况。4. 一云多芯的设计与实施x86 与 ARM 统一纳管的四个层面4.1 一云多芯为什么难镜像、调度、性能的三重问题一云多芯是信创云平台区别于传统云平台最显著的技术特征。表面上看都是在跑 KVM 虚拟机但深入进去会发现三个层面的问题。镜像层面ARM 和 x86 的虚拟机镜像彻底不通用因为内核和用户态程序编译的指令集不同。这要求镜像管理必须是“双架构”的一个镜像仓库里要有同一操作系统的两种架构版本并且要打上清晰的架构标签。调度层面云平台的调度器必须知道哪个镜像只能用哪类 CPU 跑、哪个 flavor 规格对应哪种架构的计算节点。前者比后者容易解决难的是业务迁移时用户随手选了一个“通用规格”结果调度器把它放到一个镜像不兼容的节点上虚拟机直接启动失败。性能层面同规格的虚拟机在鲲鹏、飞腾、海光上的表现差异可能达到 20% 以上用户跑同一个业务在不同架构节点上的体验不一致。一云多芯的实施不是单一技术动作而是从镜像管理到调度策略再到性能对齐的一整条链路。下面分四个运维动作展开。4.2 多架构镜像统一管理打好架构标签是第一步镜像管理是一云多芯的地基。常见做法是把 Glance 镜像仓库和内部 Harbor 镜像仓库打通虚拟机镜像和容器镜像统一存储。给镜像打架构标签不是靠人眼识别而是在上传镜像时显式声明。# 在 Glance 中上传 ARM 架构镜像并显式声明架构属性 openstack image create \ --file KylinV10-arm64.qcow2 \ --disk-format qcow2 \ --container-format bare \ --property architectureaarch64 \ --property os_typelinux \ --property hw_cpu_archaarch64 \ --min-disk 40 \ --min-ram 4096 \ KylinV10-arm64 # 上传 x86 架构镜像 openstack image create \ --file KylinV10-x86_64.qcow2 \ --disk-format qcow2 \ --container-format bare \ --property architecturex86_64 \ --property os_typelinux \ --property hw_cpu_archx86_64 \ KylinV10-x86_64命令里最关键的参数是architecture和hw_cpu_arch前者是给运维人员看的元数据后者是 Nova 调度器实际使用的属性匹配条件。--min-disk 40和--min-ram 4096是镜像运行的最低资源要求用来避免在规格过小的云主机上启动系统盘不足的镜像。属性打标完成后还要在额外的镜像属性上记录对应的操作系统版本、补丁级别和制作时间方便后续版本追溯。镜像上传只是第一步真正容易漏掉的是“镜像预热”。创建镜像后需要手动在目标架构的计算节点上执行一次 Glance 缓存预热否则首次创建虚拟机会因为镜像下载导致启动时间极长。4.3 主机分组与调度策略用 aggregate 锁死架构边界镜像打标解决的是系统识别的问题调度策略解决的是虚拟机去哪儿的问题。Nova 的host aggregate机制是这里的主角。要给计算节点分组先创建好组再把节点归入组内。# 创建 ARM 计算节点聚合组并设置架构元数据 openstack aggregate create --zone arm-az-01 arm-nodes openstack aggregate set --property architectureaarch64 arm-nodes # 创建 x86 计算节点聚合组 openstack aggregate create --zone x86-az-01 x86-nodes openstack aggregate set --property architecturex86_64 x86-nodes # 将计算节点加入对应的聚合组 openstack aggregate add host arm-nodes nova-compute-arm-01 openstack aggregate add host arm-nodes nova-compute-arm-02 openstack aggregate add host x86-nodes nova-compute-x86-01 # 查看聚合组与节点的对应关系 openstack aggregate show arm-nodes这段操作的核心是--zone参数和--property architecture的联动。--zone定义了可用域用户创建虚拟机时可以选择可用域architecture属性是 Nova 调度器做硬件规格过滤的依据。实际上还有一种更细的调度玩法用nova-compute的cpu_arch亲和性策略直接通过--property hw_cpu_arch让调度器只匹配同架构镜像。两种策略可以叠加使用。口径上要注意aggregate的architecture属性名要跟镜像里的hw_cpu_arch属性名保持一致否则调度器匹配不上虚拟机永远创建失败。这个字段拼写错误是我见过最高频的翻车原因。4.4 GPU 资源池接入信创实时云渲染场景的落地途径信创实时云渲染是现在信创云上增长很快的业务类型比如三维设计、视频制作、虚拟仿真实训这类场景。它的核心诉求是 GPU 资源既要有性能又要能弹性分配不能一台虚拟机独占一张卡也不能用完全无 GPU 的云主机跑渲染任务。GPU 接入云平台有两种主流方式PCIe 直通和 vGPU 虚拟化。直通性能无损但一张卡只能给一台虚拟机用适合高强度渲染任务vGPU 可以一卡多实例适合并发要求高但单任务负载不高的场景。国产 GPU 厂商比如摩尔线程、华为昇腾的虚拟化方案都在快速成熟选型时重点看两个指标vGPU 实例类型是否丰富以及云平台是否需要额外安装厂商插件。# 查看支持直通和 vGPU 的计算节点资源 openstack hypervisor show nova-compute-gpu-01 # 查看可用的 vGPU 类型 openstack resource provider list --resource-type VGPU # 创建带渲染需求的 flavor配置 vGPU 资源需求 openstack flavor create --vcpus 8 --ram 16384 --disk 100 render.xlarge openstack flavor set --property resources:VGPU1 render.xlarge openstack flavor set --property pci_passthrough:aliasm60:1 render.xlargeGPU 节点的调度和 CPU 节点调度是两个引擎VGPU资源由 Nova 的 Resource Provider 上报pci_passthrough:alias走 PCI 设备池。这是最容易混乱的点一个 flavor 里同时配了两种方式等于告诉调度器“两种都要有”实际会直接导致调度失败。实操上要二选一别两个参数都写上。4.5 业务迁移与双轨并行从“部分上云”到“全部纳管”信创云平台建设不可能一蹴而就迁移策略要分阶段。常见做法是三段式先接入新业务再迁移一般业务最后处理核心业务。迁移的技术方案我用两层来概括。先迁移“不需要特定硬件”的业务比如 OA、门户网站、一般 Java 应用。这类业务直接重新部署到信创云上不做跨平台的在线迁移避免 CPU 指令集不兼容带来的隐患。再做数据库和中间件的迁移这步一般要配合国产数据库的选型比如从 Oracle 迁到 openGauss 或达梦。跨越指令集的在线热迁移现在虽然已经有工具支持比如部分厂商支持 ARM 和 x86 之间的迁移但业务系统运行的 JIT 编译缓存、动态链接库都会受影响生产环境慎用。双轨并行期要控制在一个季度以内最长不要超过半年。并行期内两个平台的数据同步方案要在建设方案里写清楚我见过因为双跑周期拉太长导致运维团队直接崩溃的案例。双跑的意义是验证功能和性能不是提供永久的双环境。5. 坑已经替你踩过了信创云建设与业务迁移的五条踩坑记录5.1 镜像架构不匹配虚拟机启动直接黑屏现象用户在界面上选了“通用计算型”规格创建的 ARM 架构虚拟机启动后控制台黑屏SSH 完全不通。原因Nova 调度器没有把镜像架构和计算节点架构做强制绑定。镜像属性缺少hw_cpu_arch标记调度器忽略了架构匹配把资源放到了 x86 计算节点上。解决给所有镜像补上架构属性并在 flavor 的extra_specs里设置hw:cpu_archaarch64或x86_64两条规则双保险。同时把系统默认的default_cpu_arch设为any改为显式声明避免隐藏默认值导致不匹配问题。5.2 国产操作系统内核版本太新网卡驱动兼容性翻车现象麒麟 V10 计算节点安装完成后Neutron 的 OVS agent 状态反复异常租户网络时断时续ping 内部网关延迟高达 50ms。原因新内核的网卡驱动默认开启了某个节能特性网卡中断合并策略在 Overlay 环境下表现异常导致收包延迟明显变大。OVS 的正常工作受了影响。解决在内核启动参数中追加pcie_aspmoff和processor.max_cstate1关闭 PCIe ASPM 节能策略同时调整网卡队列的中断合并参数。改完重启计算节点后网络恢复了稳定。这类跟具体内核版本相关的兼容性问题建议在测试环境完整跑一遍网络性能基线再上生产。5.3 分布式存储在 ARM 上的“性能玄学”现象Ceph 集群在 x86 服务器上性能正常迁移到鲲鹏服务器后单卷 IOPS 直接掉了一半RocksDB 写入延迟明显上升。原因ARM 架构下 Ceph 的 BlueStore 默认参数没有适配 NUMA 拓扑OSD 进程的线程被调度到了跨 NUMA 的内存区域内存访问延迟剧增。解决通过cpuset和numactl将 OSD 进程绑定到固定的 CPU 核心和 NUMA 节点同时调大bluestore_cache_size_kb把缓存策略从默认的hit_all调整为按业务模型配置。调整之后单卷性能基本恢复到 x86 的 85% 以上剩下的差距更多来自 CPU 主频差异属于硬件本身的差距。5.4 迁移前没核对 NTP 和 DNS整个集群时间漂移现象云平台部分节点出现 Keystone token 认证失效虚拟机迁移任务频繁失败日志里报的是各种证书和时间戳错误。原因国产化服务器出厂时间设置不一致加上没有开启硬件时钟同步运行几天后各节点的时间偏差达到几十秒。Nova 和 Keystone 对时间敏感度极高偏差超过 5 秒就会出问题。解决在部署方案里把 NTP 列为前置条件采用统一的国产化 NTP 服务器并增加硬件 RTC 的同步策略。部署完成后用脚本检查所有节点时间偏差阈值设定为 20ms 以内。这个检查项写进运维巡检脚本里每天跑一次。5.5 管理网络和数据网络混跑一次误操作拖垮平台现象运维人员在做网络调整时误将某个 VLAN 同时配置到了管理网和数据网导致 Keystone 和 Nova 之间通信中断所有云主机操作全部超时。原因为了省交换机端口部分计算节点采用了管理网和数据网共用链路的部署方式物理上没有隔离配置层面一旦出错就是全局故障。解决管理网络必须从物理层隔离至少要做到独立 VLAN 加独立网卡。信创云平台的管理面组件全部走管理网数据面走存储网和业务网存储网的流量优先级在交换机上打上cos 5标记。这个设计原则要在方案里作为硬性要求写清楚不能因为现场布线资源紧张就放宽。6. 竣工验收与性能基准让方案经得起真实业务考验信创云平台建完之后验收环节最怕“看起来没问题一上业务就垮”。我建议把验收标准从“功能可用”提升到“性能可对比”。验收项目测试方法通过标准虚拟机生命周期自动化脚本批量创建/删除 100 台成功率 100%平均创建时长 ≤ 90 秒计算性能对比UnixBench 同规格 ARM vs x86差距 ≤ 25%存储性能fio 4K 随机写 / 1M 顺序读4K 随机写 ≥ 3000 IOPS1M 顺序读 ≥ 800MB/s 起网络性能iperf3 跨计算节点10Gbps 网卡实测 ≥ 9Gbps高可用切换强制重启计算节点观察业务迁移RPO0RTO ≤ 15 分钟GPU 渲染实际渲染任务对比物理机性能损耗 ≤ 10%性能测试要有对照基线最理想的是同机房找一台同等配置的 x86 服务器当作基准采用同样版本的 CentOS 和内核跑同一套测试脚本。否则“性能达到要求”这句话是没有参照物的。日常巡检建议固定到脚本里每早跑一遍看集群健康状态下面是一段核心检查命令。# 检查计算节点状态 openstack compute service list openstack hypervisor list # 检查块存储服务状态 openstack volume service list ceph -s # 检查网络服务状态 openstack network agent list # 查看是否有虚拟机处于异常状态 openstack server list --status ERROR命令的返回结果都值得逐条确认compute service list里所有的nova-compute的 State 应为 upStatus 应为 enabledceph -s输出的 health 应为HEALTH_OKnetwork agent list里的neutron-openvswitch-agent不能出现XXX状态。检查脚本要定期自动导出结果并留档作为平台的“健康档案”。最后一件事是关于 CPU 亲和性的调优。对于延迟敏感型业务给 flavor 加上cpu_policydedicated和numa_fitrequired这两个参数能显著降低虚拟化损耗。代价是虚拟机之间无法超分CPU 利用率会下降所以只给核心业务开这两个参数普通业务保持默认即可。我在每次信创云交付结束后会把验收时的性能基线数据、调整过的参数、踩过的坑整理成一份内部文档留档。这份文档比你买的任何运维服务都值钱——它是这个平台真正的原厂“使用说明”。希望帮到你。本文还有配套的精品资源点击获取
返回列表