Ming-Flash-Omni：稀疏架构驱动的多模态智能新纪元

引言

在人类认知世界的过程中，视觉、听觉与语言等多种感知渠道天然协同工作，使我们能够无缝理解环境、表达思想并创造新的概念。这种跨模态融合能力是人类智能的核心特征，也是人工智能领域追求通用人工智能（AGI）的关键目标。近年来，随着大语言模型（LLMs）的飞速发展和大规模多模态数据集的涌现，多模态大语言模型（MLLMs）在视觉、语音和语言等单一模态的理解与生成任务上取得了显著进展。然而，如何将不同模态的理解与生成能力有机整合到一个统一的架构中，实现真正意义上的多模态智能协同，仍然面临着模态表示差异和模态失衡等严峻挑战。

本文介绍了由Inclusion AI和蚂蚁集团联合研发的Ming-Flash-Omni，这是Ming-Omni模型的重大升级版本。该模型基于Ling-Flash-2.0的稀疏混合专家（MoE）架构变体构建，总参数规模达到1000亿，而每个token仅激活61亿参数。这种创新架构不仅实现了高效的模型扩展——在显著提升计算效率的同时大幅扩展了模型容量——还赋予了模型在视觉、语音和语言等多个模态上更强大的统一智能，代表着向人工通用智能迈出的关键一步。与前代相比，升级后的版本在多模态理解和生成方面均展现出实质性的提升，特别是在上下文感知语音识别、方言识别、高保真文本渲染、场景一致性、身份保留以及创新性的生成式分割任务上取得了突破性进展。

Ming-Flash-Omni架构解析

Ming-Flash-Omni延续了Ming-Omni的统一两阶段处理流程，即感知阶段支持多模态理解，生成阶段专注于语音和图像合成。然而，其核心架构基于更为先进的Ling-Flash-2.0稀疏MoE语言模型，通过提高稀疏率，在保持推理延迟可控的前提下实现了模型容量的显著提升，从而在性能与效率之间取得了更佳的平衡。在感知层面，模型引入了VideoRoPE位置编码以增强视频序列的时间动态捕捉能力，并重点提升了上下文感知语音识别（ContextASR）的性能。在生成层面，模型采用连续声学表示替代离散语音 tokens 以提升语音合成自然度，引入生成式语义分割以实现像素级语义内容生成，并增强了图像生成的细粒度控制能力和身份保留特性。这些架构创新共同赋予了Ming-Flash-Omni卓越的跨模态理解与生成性能。

跨模态统一理解

多模态统一理解是Ming-Flash-Omni的核心基石。模型保留了经过验证的视觉编码器（Qwen2.5）和音频编码器（Whisper），并将它们的投影嵌入与 token 化文本拼接后输入到Ling-flash-2.0——一个为不同模态配备独立路由机制的稀疏MoE语言模型中。在此基础上，Ming-Flash-Omni特别整合了VideoRoPE技术，以在长序列视频帧中维持时间连贯性，从而强化了模型对动态视觉事件的理解能力。此外，模型采用了上下文感知的ASR训练范式，使解码过程能够依赖于特定的任务或领域上下文，有效解决了传统ASR在真实世界多领域场景中知识有限和专有名词识别不可靠等常见问题，进而生成更准确、上下文一致的转录结果。为了在更为稀疏的Ling-flash-2.0架构中稳定训练过程，Ming-Flash-Omni采用了混合专家平衡策略，将Ming-Omni中使用的辅助负载平衡损失与Ling-flash-2.0中的每路由器偏置更新相结合，促进专家的均匀激活并提升收敛效率。

语音统一理解与生成

在语音理解方面，Ming-Flash-Omni沿用了Ming-Omni的音频编码器，但通过在训练过程中融入前置文本上下文和热词列表，重点优化了上下文感知自动语音识别（ContextASR）的性能。在语音生成方面，一个关键的改进是用连续声学潜变量替代了离散语音 tokens，这一举措有效规避了量化过程带来的 artifacts，显著提升了语音合成（TTS）输出的自然度和表现力。具体而言，模型采用了一个基于Qwen2.5预训练的固定音频头（包含0.5B参数），该音频头接收LLM生成的文本 tokens 和下采样的VAE潜变量作为输入，并自回归地预测流匹配头（flow-matching head）所需的条件信号，遵循Jia等人（2025）提出的范式。

值得注意的是，用于生成任务的连续特征源自统一的连续语音 tokenizer，该 tokenizer 基于VAE-GAN架构构建。其整体训练目标包含两个主要部分：生成器损失和判别器损失。生成器损失由多尺度梅尔频谱图重建损失、对抗损失、特征匹配损失以及KL散度正则化项组成。判别器则主要通过对抗损失进行训练。有关实现的更多细节，请参考Canxiang等人（2025）的研究。

图像统一理解与生成

构建统一多模态模型的核心挑战之一在于如何有效融合图像理解与生成能力。尽管前代Ming-Omni模型通过多尺度查询 tokens 注入了层次化语义信息，但其语言通路在训练过程中为避免生成目标的干扰而保持冻结状态。这种冻结策略虽然保证了训练稳定性，却造成了一个关键瓶颈：理解与生成的学习目标之间存在固有的差异。因此，即使注入了层次化语义，诸如对象属性和空间关系等细粒度视觉知识也无法有效地迁移到高精度生成和编辑任务中，从而限制了模型的最终质量和可控性。

生成式分割作为编辑任务

为了突破这一瓶颈，Ming-Flash-Omni提出了一种协同训练范式，将图像分割重新定义为一个生成式编辑任务。模型不再生成抽象的二进制掩码（例如“分割香蕉”），而是执行保留语义的编辑操作（例如“将香蕉涂成紫色”）。这种重新表述强制绑定了理解与生成的学习目标：成功的生成依赖于对对象轮廓和边界的精确理解。因此，理解成为编辑的先决条件，而编辑的质量则为模型的理解能力提供了直接的监督信号，从根本上统一了它们的优化目标。

至关重要的是，这种训练方式培养了一种更基础、更具泛化性的技能：细粒度的空间语义控制能力，这间接解决了纯文本到图像生成中的组合性问题。在GenEval基准测试中，Ming-Flash-Omni取得了0.90的评分，超越了领先的非强化学习方法。这一结果表明，空间语义控制这一基础技能能够有效地泛化到纯文本到图像的生成任务中。

赋能高级可控生成能力

这种对空间语义控制的掌握为一系列高级功能奠定了坚实基础：

身份（ID）保留：模型使用VAE编码的身份向量和复合损失函数（全局语义损失与局部像素损失）来维持主体的一致性。通过训练获得的边界感知能力对于准确隔离非编辑区域、确保高保真度至关重要。

高保真文本渲染：通过集成专门的Glyph-byT5文本编码器，模型利用其习得的像素级控制能力来精确定位文本，确保文本与图像上下文的无缝融合以及高质量的渲染结果。

多图像融合与风格迁移：模型能够利用不同的概念向量（Concept Vectors）对来自多张图像的元素进行解构和重组（例如，从图像A提取身份特征，从图像B提取背景）。这种复杂的融合操作直接依赖于通过核心训练范式获得的精确勾勒能力。

整体训练流程

Ming-Flash-Omni的训练流程依旧采用两阶段模式：感知阶段与生成阶段。感知阶段与Ming-Omni保持一致，包括预训练、指令微调、对齐调优以及一个额外的连贯强化学习（RL）阶段。连贯RL阶段按顺序进行：首先是动态GRPO（D-GRPO），然后是统一DPO（U-DPO）。在D-GRPO阶段，模型在具有可验证答案的数据集上应用带有可验证奖励的强化学习——通过采用平衡采样的在线GRPO策略、动态超参数调整以及特定任务的准确性奖励——来强化跨多模态任务的正确推理能力。随后，U-DPO阶段用于偏好对齐，它在标准DPO的基础上，在选定样本上增加了一个辅助的指令微调损失项，以增强模型对指令的遵循度和风格一致性。具体而言，模型采用重放策略，结合指令阶段的多模态数据，并交错进行DPO和指令微调数据的更新，以稳定优化过程并保持梯度平衡。

基础设施支撑

为了支撑如此大规模稀疏MoE模型的训练和推理，Ming-Flash-Omni背后依赖于强大的基础设施。这包括高效的分布式训练框架，能够支持数千张GPU的协同工作，以及针对MoE架构优化的通信协议，以减少专家间数据传输的开销。在存储方面，采用了分布式文件系统和对象存储服务，以高效管理海量的多模态训练数据。此外，为了保证训练过程的稳定性和连续性，还构建了完善的任务调度、监控和故障恢复机制。这些基础设施的协同工作，为Ming-Flash-Omni的成功训练和部署提供了坚实的保障，确保了模型能够在合理的时间内收敛并达到预期的性能水平。

数据构建

高质量、大规模的多模态数据是训练Ming-Flash-Omni的基础。模型的数据构建工作涵盖了图像、音频、视频和文本等多个模态，针对不同模态的特点和模型的学习目标，分别设计了相应的数据采集、清洗、标注和增强策略。

图像数据

图像数据的构建细分为图像理解数据和图像生成数据两个方面，以分别支撑模型的理解能力和生成能力。

图像理解数据

图像理解数据主要来源于公开的大规模图像分类、检测、分割数据集，如ImageNet、COCO、ADE20K等。此外，还收集了大量包含复杂场景和细粒度语义的网络图像，并对其进行了细致的标注，包括对象类别、属性、关系以及场景分类等信息。为了增强模型对不同领域图像的适应能力，数据集中还特意包含了医学影像、遥感图像、工业质检图像等专业领域的数据。在数据预处理阶段，对图像进行了多尺度裁剪、随机翻转、色彩抖动等常规数据增强操作，同时也应用了更高级的增强技术，如MixUp、CutMix等，以提高模型的泛化能力。

图像生成数据

图像生成数据则更为丰富多样，包括文本-图像对、图像-图像编辑对、以及为支持生成式分割任务而构建的语义编辑数据。文本-图像对数据来源于公开的LAION、COCO Captions等数据集，并通过人工筛选和清洗去除了低质量和不相关的样本。图像-图像编辑对数据则通过设计特定的编辑指令，如“将猫变成狗”、“将白天场景改为夜晚”等，由专业标注人员或通过已有工具生成编辑前后的图像对。语义编辑数据是Ming-Flash-Omni特有的，它将分割任务转化为编辑任务，例如“将图中的汽车涂成红色”，每个这样的指令都配有对应的原始图像和编辑后的目标图像，从而为模型提供学习细粒度空间语义控制的监督信号。

音频数据

音频数据的构建同样兼顾理解与生成两个方面。语音理解数据主要包括大规模的语音识别语料库，如LibriSpeech、CommonVoice，以及针对中文场景优化的AISHELL、THCHS-30等数据集。特别地，为了提升上下文感知ASR的性能，收集了大量包含对话历史或领域背景信息的语音数据，并将其与对应的文本上下文配对。方言数据也是重点之一，涵盖了粤语、四川话、上海话等多种主要汉语方言，以增强模型的方言识别能力。

语音生成数据则包括高质量的朗读语音、自然对话语音等，用于训练TTS系统。这些语音数据具有清晰的发音、自然的语调变化和丰富的情感表达。同时，为了支持文本到语音的生成，构建了大量文本与语音对应的平行语料。在数据处理方面，对音频进行了降噪、音量归一化等预处理，并提取了梅尔频谱图等特征供模型使用。

视频数据

视频数据主要用于增强模型对动态视觉信息的理解能力。数据集包含了来自公开视频平台（如YouTube-8M、Kinetics）的各类视频，内容涵盖动作识别、场景理解、事件检测等。视频的长度从几秒到数分钟不等，以捕捉不同时长的时间动态。为了有效利用视频数据，采用了关键帧提取和均匀采样相结合的方式获取视频帧序列，并利用VideoRoPE编码这些帧的时序信息。此外，还收集了带有详细时序标注的视频数据，如视频描述、时序动作定位标注等，以监督模型学习视频内容的时序结构和语义信息。

文本数据

文本数据作为连接各个模态的桥梁，其质量和多样性至关重要。Ming-Flash-Omni的文本数据来源广泛，包括书籍、新闻、网页、论文、对话记录等。这些文本不仅提供了丰富的世界知识和语言模式，还涵盖了不同领域的专业术语和表达方式。在指令微调阶段，构建了大量多模态指令数据，例如“描述图片内容”、“根据语音回答问题”、“将这段文字转换为图像”等，以引导模型学习如何根据不同模态的输入执行特定任务。此外，为了提升模型的推理和逻辑能力，还加入了数学题、推理题、代码生成等需要深度思考的文本数据。

评估与结果

为全面评估Ming-Flash-Omni的性能，研究团队采用了多维度、多层次的评估策略，包括在公开基准测试集和内部自定义测试集上的评估，并从定量和定性两个角度对模型的多模态理解与生成能力进行了深入分析。

公开基准测试

在公开基准测试中，Ming-Flash-Omni参与了涵盖图像理解、语音识别、文本生成、跨模态检索等多个领域的权威评测。在图像理解方面，模型在ImageNet分类、COCO目标检测和分割等经典任务上与当前最先进的模型进行了对比。在语音识别领域，重点评估了模型在LibriSpeech（英语）和AISHELL（中文）等标准数据集上的词错误率（WER）和字符错误率（CER），特别是在上下文感知ASR的专项评测中，模型在所有12项上下文ASR基准测试中均刷新了纪录。在文本到图像生成任务上，模型参加了如MS-COCO、Flickr30K等数据集的评估，并在FID（Fréchet Inception Distance）、IS（Inception Score）等指标上取得了领先成绩。此外，在生成式分割任务的GenEval基准上，模型也超越了众多非RL方法，展现出强大的细粒度控制能力。

内部基准测试

除了公开基准，研究团队还构建了一系列内部基准测试集，以更针对性地评估模型在特定场景和任务上的表现。这些内部测试集包括：针对真实世界复杂场景的多模态问答数据集，涵盖了日常生活、专业领域等多种场景；针对方言识别的专项测试集，包含了更多稀有方言和混合方言样本；以及评估图像编辑质量和身份保留能力的细粒度控制测试集。内部基准测试能够更灵活地设计挑战性样本，暴露模型在公开基准中可能未被发现的弱点，从而为模型优化提供更精准的指导。

定量结果

定量评估结果显示，Ming-Flash-Omni在多个关键指标上均取得了显著进步。在上下文感知ASR任务中，模型在所有12项内部和外部评测指标上均达到了当前最佳水平，相比传统ASR模型，词错误率平均降低了15-20%。在方言ASR方面，模型在主要方言上的识别准确率也达到了极具竞争力的水平。在图像生成方面，高保真文本渲染能力使得生成图像中的文本清晰度和可读性大幅提升，文本识别准确率提高了约25%。场景一致性和身份保留指标也有明显改善，在内部身份保留测试集上，模型的一致性评分达到了0.88，远超前代模型。生成式分割任务中，模型在GenEval基准上的得分为0.90，充分验证了其空间语义控制能力的有效性。

可视化结果

可视化结果为模型的生成能力提供了直观的证据。在文本到图像生成任务中，生成的图像不仅与文本描述高度吻合，细节丰富，色彩自然，而且在处理复杂场景描述和多对象组合时，展现出优异的场景一致性。例如，对于“一只戴着红色帽子的猫坐在蓝色沙发上，背景是一幅挂在墙上的山水画”这样的复杂指令，模型能够准确生成所有元素，并保证它们之间合理的空间关系。在图像编辑任务中，无论是对象替换、颜色修改还是文本添加，编辑区域与原图的过渡自然，边界清晰，充分体现了生成式分割作为编辑任务所带来的精细控制能力。语音合成的音频样本也展现出更高的自然度和表现力，通过盲听测试，听众更难区分合成语音与真人语音。

结论与展望

Ming-Flash-Omni通过引入稀疏MoE架构、VideoRoPE时序建模、上下文感知ASR优化、生成式分割协同训练等一系列创新技术，成功构建了一个在视觉、语音和语言模态上均具备强大理解与生成能力的统一多模态模型。其1000亿总参数与61亿激活参数的设计，在保证模型能力的同时兼顾了推理效率。大量的实验结果表明，该模型在上下文语音识别、方言识别、高保真图像生成与编辑、生成式分割等多个任务上均达到了当前领先水平。

展望未来，Ming-Flash-Omni的发展方向将聚焦于以下几个方面：首先，进一步提升模型在更细粒度模态理解与生成上的能力，例如更精确的情感识别与表达、更复杂的物理世界交互推理等。其次，探索模型在少样本和零样本学习场景下的泛化能力，以适应数据稀缺的新领域。再次，持续优化模型的效率，通过更先进的模型压缩和知识蒸馏技术，使强大的多模态能力能够部署在资源受限的设备上。最后，加强模型的安全性和可控性研究，确保AI系统的负责任发展和应用。Ming-Flash-Omni的成功为构建更通用、更智能的多模态AI系统奠定了坚实基础，未来有望在智能助手、内容创作、教育培训、医疗诊断等众多领域发挥重要作用。

贡献者

本研究成果是由Inclusion AI和蚂蚁集团的众多科研人员共同努力的结果。完整的作者名单和具体贡献请参见贡献者章节（第6节）。

公开基准测试详情

有关本研究中使用的所有公开基准测试的详细信息、版本号、评估指标计算方法以及具体实验设置，请参见专门的公开基准测试章节（第7节）。

数据生成中使用的提示词

为确保实验的可重复性和数据构建的透明度，数据生成过程中使用的所有提示词模板、指令集以及相关参数设置，将在“数据生成中使用的提示词”章节（第8节）中详细说明。