►点击链接了解更新详情:演示体验、社群咨询、商务采购:
https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo
►点击下方链接一键预约,AllData 开源7周年 X 创业3周年 Meetup 分享!
https://mp.weixin.qq.com/s/wp0O4fJ6LrYll1kUr7WxKQ
🔥杭州奥零科技 - AllData数据中台多模态标注套件重磅上线! 汇聚 RustFS + CubeStudio + LabelStudio,一站式搭建具身智能、视觉、语音、视频、文本高质量数据集,夯实 AI 底座,持续拉高企业大模型性能上限!
✅ RustFS|高性能多模态存储底座
面向海量视频、图像、音频等非结构化数据设计,高吞吐、低延迟、稳定可靠,承接标注全链路原始素材,解决大体积多模态文件存储、读取、流式访问痛点,为整套标注体系提供安全高效的数据存储支撑。
✅ CubeStudio|AI 预标注加速引擎
内置多模态模型能力,对接标注流水线,自动完成检测、描述、分类、转写等预标注任务,减少人工重复标注工作量;打通模型推理与标注评审闭环,实现人机协同、主动学习,大幅提升标注产能。
✅ LabelStudio|核心多模态标注平台【重点】
AllData 生态核心标注组件,原生统一支持文本、图像、音频、长视频、时序数据,适配具身智能复杂多模态融合标注场景。 灵活自定义标注模板,支持目标框、关键点、多边形、时间轴对齐、对话打标、多模态联动标注;自带任务分配、质检评审、版本追溯、权限管控,完整落地 human-in-the-loop 人机闭环。
开放 API 可深度嵌入 AllData 数据中台,标注成果自动回流数据湖,打通「存储→预标注→人工精标→质检→数据集输出→模型训练」全链路,帮助企业沉淀自主可控、合规高质量多模态训练数据。
AllData数据中台集成的开源项目多模态标注平台(LabelStudio)通过一站式内嵌部署、图文/影像等多模态数据同平台标注,支持多人协同标注与标注版本比对校验,标注结果可直接存入中台资产,打通从数据接入、标注加工到模型训练的全链路,实现标注任务的快捷管理与成果资产化复用。
开源项目:https://github.com/HumanSignal/label-studio
官方文档:https://labelstud.io/quick-start
一、多模态标注平台——功能架构
多模态标注平台依托Web在线标注工作台,支持图像、文本、遥感影像等多模态素材的标注任务创建、样本分发、在线标注、版本比对、质检验收与数据集导出全流程管理。支持单人标注、双人双标校验、批量样本处理等多种标注生产模式,能够对接中台数据资产库,实现标注样本读取、标注成果回写资产目录,打通标注数据与AI模型训练链路,降低标注工程化落地成本。
整体架构划分为标注任务编排层、样本标注算子层、标注成果管控层四层,四层协同完成从样本接入到标注资产入库的完整闭环:
1、多模态标注能力,图像/文本 / 遥感等素材统一工作台标注;
2、支持双人双标比对校验,自动留存标注历史版本,便于质检追溯;
3、与数据中台资产打通,标注成果直接入库,无缝支撑AI模型训练。
二、核心能力演示
一起来看看多模态标注平台(LabelStudio)是通过哪些核心功能来解决企业实际问题:
1、多模态样本接入与标注任务分发
支持图片、遥感影像、文本等多类型原始样本接入,内置丰富标注工具;支持批量导入样本、自定义抽样策略、任务批量拆分下发,区分标注、质检两道工序,按需分配任务,支撑规模化标注生产作业。
2、双标校验+版本追溯,保障标注数据集质量
支持双人独立标注、系统自动比对标注结果,快速识别标注分歧;自动保存全量标注历史版本,支持样本回退、驳回重标。支持自定义抽检规则,隔离不合格样本,减少人工质检工作量,保障训练数据集可靠性。
3、AllData数据中台资产互通,全链路可观测适配行业AI场景
实时展示任务进度、标注完成率、质检通过率等核心指标,快速定位标注卡点。标注完成的数据集可直接沉淀到中台资产目录,支持数据集导出,打通从样本接入、标注加工到模型训练的数据链路;一套平台适配水利遥感、煤矿图像、政务文本等行业AI数据集生产。
三、多模态标注平台——功能能力演示
1、首页概览
展示最近标注项目列表与任务完成进度,支持创建标注项目、邀请成员、查看项目详情。
创建项目:可以通过项目名称、本地导入数据或选择模版3种方式进行创建。
2、工程项目
展示所有标注项目卡片,这里的工程项目是独立的标注项目实例,里面完整保存一套:标注任务、标签模板、数据集、标注结果、权限配置。
💡 标注工程项目是自带标注规则、标签集、任务状态、标注结果、权限,是一个完整AI数据集工程单元。一个工程项目下可以导入多批图片,产出一套统一规范的标注数据集,导出给模型训练。
展示该工程下全部标注任务清单,支持批量操作、筛选、导入导出、新增视图,可查看单条任务的JSON标注数据。
查看单条标注任务的源码弹窗,Code视图以原始JSON文本展示任务信息,包含图片存储路径、多边形标注坐标、标签文本等完整标注结果。
2.1 工程项目设置页面(基础信息、标注界面、标注配置、模型、云存储、回调通知、危险操作区):
设置-基础信息:可编辑项目名称、描述、工作空间与主题色,配置任务采样策略(顺序/随机/不确定性采样)并保存。
设置-标注界面:可视化视图,可视化配置标签集、标注绘制参数,实时预览图片多边形标注效果,用于定义标注交互样式。还可以选择使用模版快速创建任务
设置-标注界面模版选择:提供计算机视觉、NLP、OCR、视频等多模态预置标注模板,可直接选用快速搭建标注任务。
系统提供多种类模版,覆盖日常业务各种类型(如以下为部分模版展示): 音频/语音处理:
自然语言处理:
对话处理:
时序分析处理:
视频处理:社区共享模版处理:
2.2 模版适合业务场景推荐:
计算机视觉: 图像目标检测、语义/实例分割、图片分类。
场景:遥感航拍(机/矿区/水利)、工业质检、安防、煤矿GIS影像、自动驾驶图片标注。
自然语言处理: 文本实体抽取、文本分类、情感分析。
场景:政务工单抽取、金融合同信息提取、客服文本意图识别、煤矿运维日志文本打标。
音频/语音处理: 语音转写、说话人分割、对话角色/意图标注。
场景:客服通话质检、政务热线语音、井下对讲音频、会议录音转写标注。
对话 AI: 对话内关键点标记。
场景:大模型对话关键信息抽取、人机对话行为标记、智能客服对话要点提取。
对话: 多轮聊天会话标注。
场景:智能客服、政务对话机器人、煤矿调度对话、大模型对话数据集制作。
排序与打分: 内容打分、优先级排序标注。
场景:大模型回答质量评估、工单优先级打分、检索结果相关性排序。
结构化数据解析: 表格、JSON结构化数据标注。
场景:财务报表、政务表单、设备结构化采集数据的字段抽取与校验。
时序分析: 时序曲线、异常区间、异常点标注。
场景:火电/煤矿传感器、水利监测、IoT设备指标曲线,标注异常波动。
视频:视频帧标注、视频目标追踪。
场景:工地/井下视频、安防摄像头、工业产线视频,做目标跟踪与行为识别。
生成式AI:大模型输出内容评估、偏好标注。
场景:大模型问答打分、人类偏好RLHF标注、AI生成内容合规性评估。
社区贡献模板
行业用户自定义模板,可复用行业特殊标注需求,快速扩展标注能力。
设置-标注配置:支持配置标注前提示文案,开启 AI 预标注并选择对应的预测模型,辅助提升标注效率。
设置-模型:支持接入机器学习模型,实现实时预测、AI预标注与主动学习,加速数据集标注。
设置-AI预标注:用于上传、管理模型预测结果,加载预标注数据自动生成标注,减少人工打标工作量。
设置-云存储:对接S3对象存储作为数据源/结果存储,可新增源存储、目标存储,执行存储同步、编辑、删除。
💡 云存储的核心作用:
1、多模态标注的数据(遥感大图、煤矿图像、视频、音频)体积巨大,不把文件上传拷贝到平台内部,平台直接远程读取对象存储里的原始文件,节省存储与带宽。
2、支持数据资产回流:标注完的标签、标注结果,可以回写到对象存储,直接供给下游Flink、Doris、模型训练使用,形成完整数据流。
3、一套标注项目可以挂载多个独立存储,比如同时接入水利数据集、煤矿图像库,在同一个项目里切换不同数据源。
4、适配私有化信创部署,兼容S3协议的国产对象存储(RustFS/MinIO)。
2.3 添加源存储步骤:
步骤1:选择数据存放的存储类型
步骤2:配置存储连接,用来填写存储的接入地址、账号密钥,测试连通性
步骤3:导入配置与数据预览,设置数据筛选规则,挑选存储桶里哪些文件作为标注任务数据。
步骤4:确认并同步
3、多模态标注平台(LabelStudio)和多模态数据存储(RustFS)平台的联动
这里通过云存储连接多模态数据存储平台将非结构化数据同步到多模态标注平台中,将数据活用成企业资产。在Bucket Prefix(桶前缀)划分数据读取范围,同桶可创建多套存储实例,绑定不同虚拟目录,实现数据集隔离。
通过Bucket Name接入同一个底层RustFS对象存储桶,这一层不做任何目录隔离。
在这里通过Bucket Prefix来指定桶内部的子文件夹路径,告诉系统获取存储桶中哪个子目录。
完成后点击【同步存储】跟多模态数据平台的存储目录进行核对刷新数据,当多模态数据平台有新数据存入时,再点击【同步存储】进行同步即可,不用再新建连接获取。
这里两个功能的联动业务价值:
1、独立同步控制、独立状态管理
每个存储实例拥有独立的同步按钮、同步任务、上次同步时间。水利项目新增遥感图片,只需要触发【同步存储】,不会把其他数据刷新进来;可以单独删除某一个数据集的存储配置,不影响同Bucket下其他业务数据集。
2、适配甲方多项目、多团队的权限与资产管理
面向甲方交付时,不同业务线(如:水利/煤矿)属于独立数据集资产;在中台资产目录里,需要分开登记、独立统计任务数量。 存储连接命名直接对应业务数据集名称,方便项目管理员一眼识别,区分不同业务数据源,方便资产盘点。
3、支持差异化过滤规则
每个存储连接可单独配置文件过滤正则:比如水利只同步.tif遥感影像;语音数据集只同步.wav音频,同一桶下不同业务使用不同过滤规则。
设置-回调通知:支持添加Webhook,订阅标注事件,事件触发时自动向外推送HTTP回调消息。
设置-危险操作区:提供重置缓存、清除标签页、删除项目等高风险操作,用于项目数据重置与销毁。
4、单个任务进行标注
这里是正式对一张图片进行标注的操作。
⚠️ 这里一个图片有多个样本的常见来源:
1、多人标注(双标/众包校验):A标注一遍,B再对同一张图片独立标注一遍;同一样本产生2份标注。用来做标注一致性校验,评估标注员的重合度。
2、同一人多次修改保存:同一个标注员,保存一次 → 修改再提交保存一次,系统会留存历史版本,形成2套标注。💡 在对比页面管理员/质检员可以: 1、肉眼对比两套标注的多边形区域是否符合规范;
2、可以进入其中任意一份标注版本,编辑、删除这一份标注记录;
3、可以选择保留合格的那一套,删掉不合格的那套标注;
5、多模态标注平台(LabelStudio)和机器学习平台(CubeStudio)联动使用
核心联动底座:共享同一套S3兼容多模态对象存储RustFS + HTTP/API 打通 ML Backend,形成预标注 → 人工校验标注 → 模型训练 → 模型回灌预标注的AI数据闭环。
在多模态标注平台(LabelStudio)【模型】功能中通过接入机器学习平台(CubeStudio)训练好的模型,部署成推理服务,作为 LabelStudio的ML Backend接入标注项目:
这个联动的业务价值:
1、标注员打开待标注样本时,LabelStudio自动调用CubeStudio推理服务,返回预测结果(框、掩码、文本标签、大模型回答);
2、标注人员只做校验+少量修正,不用从零全手工标注;
3、还可以作为主动学习智能进阶。CubeStudio返回预测置信度,LabelStudio优先把低置信度难样本推给标注人员,用最少标注量提升模型效果。
四、实操演示:快速添加图片并标注
说了这么多,不如动来实际体验一下这套系统的操作流程,整个过程即使完全没有技术背景,您也可以快速上手。
1、创建标注项目
打开首页概览点击创建标注项目选择通过模版创建项目。实操中用图图片标注,模版选择【计算机视觉】类
2、添加云存储获取需要的标注数据
进入标注项目中,点击右上角的配置对整个项目进行设置。先添加云存储:选择数据存放的存储类型 → 配置存储连接 → 导入配置与数据预览 → 确认并同步
1·实操中数据存放的存储类型选择Amazon S3;
2·存储连接可以参考以下(也可自行更改):
标注名称:项目标注-飞机场地
存储桶:alldata.rustfs**这里图片/文档等数据先上传到多模态数据存储中的这个存储桶中
账号和密码:可联系我们提供测试账号或由企业技术人员提供完成添加后点击同步存储按钮,刷新数据。
3、设置标注界面
在标注界面中选择模版或定义正式标注的界面,并左边添加标签名称区域设置这个业务中标注需用到标签。(实操中选择用计算机视觉模版进行快速创建。)
这里业务是机场,标签设置有:飞机、车辆、测试、禁止立入区域这4个标签。左边设置的标签会预览在右边标注区域,这里是设置和预览,不是正式标注。
4、正式标注
完成设置后返回标注工程页面刷新,点击需要标注的缩略图进入正式标注。
在正式标注页面点击下方标签然后在画面中框选标注地方,并给标注填写说明内容。注意完成后或操作过标注任务,需要添加Update按钮进行提交,否则标注操作不会保存。
在正式标注中可以一个标注任务有多个标注样本进行比对,点击操作区中+按钮进行添加。
点击 Compare All 可以查看当前标注任务的所有样本,筛选符合要求的标注样本保留或比对调整。
杭州奥零数据科技汇聚RustF S+ CubeStudio + LabelStudio,支持具身智能/视觉/语音/视频/文本数据自动化标注, 让企业的数据更高质量!
依托 AllData 数据中台可插拔中台架构,三者无缝协同,告别多工具割裂、数据来回拷贝,一站式支撑机器人具身智能、视觉感知、语音交互、视频理解、大模型 SFT 等项目,用高质量标注数据驱动 AI 模型效果持续迭代!