PRISM-VL 是一个测量域视觉语言模型研究项目：它把经过 ISP 处理的 RGB 图像，替换为RAW 派生的 Meas.-XYZ加上相机元数据（ISO、曝光时间、光圈）作为视觉输入，让 Qwen3-VL 基于"传感器原始测量"而非"面向显示的渲染结果"回答问题。项目同时发布了 MeasL-Bench-V1 评测基准、MeasL-150K-V1 训练集和 Qwen3-VL 2B / 4B / 8B 的 LoRA 适配器。

💡 先问一个问题：RGB 渲染已经丢了什么证据？

项目名取自"洞穴寓言"（Allegory of the Cave）：我们习惯看到的 RGB 图像，更像是投射在洞穴墙上的影子——它是图像信号处理器（ISP）生成的面向显示的产品，而不是相机传感器最初记录的东西。

从传感器到 RGB 之间，ISP 会做一连串"让它对人眼更好看"的操作：

• 裁剪（Clipping）：过曝的高光区域直接变成纯白，细节归零；
• 降噪（Denoising）：传感器的原始纹理和弱信号被平滑掉；
• 色调映射（Tone mapping）：线性亮度关系被重写成非线性曲线；
• 量化（Quantization）：高位深传感器数据压缩成 8-bit。

问题在于：对于"证据类"问题（读文字、判断明暗、区分颜色），模型需要的信息可能恰好在这四步里被抹掉。只看 RGB 的模型，只能对着影子猜。

PRISM-VL 的做法是把相机测量当作一等观察对象：在模型看到图像之前，先让它看 RAW 派生的 Meas.-XYZ——一种保留原始测量线性关系的三通道表示——再配上拍摄元数据，让模型以更接近物理世界的方式获取证据。

上图是 PRISM-VL 的整体框架：左侧将 RAW 派生 Meas.-XYZ 与相机元数据注入视觉编码器，右侧由 Qwen3-VL 完成测量域视觉语言推理。

🔍 真实低照案例：RGB 如何"带偏"模型

项目用两个低照度文本案例（LER：Low-Illumination Evidence Recovery）直观展示两种输入的差异：

同一张场景，两种"看"法：RGB 渲染暴露的是误导性证据，答案区域已经不可恢复；而 Meas.-XYZ 保留了该区域的线性测量关系，模型仍能读出正确答案。

🏋️ 怎么训练、怎么衡量：15万训练样本 + 2183条基准

PRISM-VL不改动 Qwen3-VL 的训练与推理流程，只替换视觉接口。实现上用轻量的残差注入：相机元数据经photographic_log归一化后，以残差形式叠加进 ViT 隐藏层，避免对主干模型做大手术。配置细节见 sft_qwen3_vl_2b_prsimvl_v1.yaml。

📊 主结果：Meas.-XYZ 的提升来自哪里？

在 held-out MeasL-Bench 协议下（同尺寸模型，Meas.-XYZ 对比 RGB 输入）：

8B 版本相比同尺寸 RGB 版本提升+0.1074 BLEU、+0.1071 ROUGE-L、+4.46 LLM-Judge 分；2B 版本更是全面超越 4B / 8B 的 RGB 版本。增益集中在"证据敏感"型能力上：

🚀 上手三步走：本地问一张图

1. 安装 release 快照，运行 install_editable.sh；
2. 用swift deploy加载基座模型 + 对应 PRSIMVL LoRA 适配器，启动 OpenAI 兼容服务；
3. 用 inference/ask_service.py 发送本地图像和问题——问题里带上 ISO / 曝光 / 光圈格式的拍摄元数据，与训练提示风格保持一致。

要复现完整基准，一条命令即可：

MODEL_SIZE=2b CUDA_VISIBLE_DEVICES=0 bash eval/run_infer_and_eval.sh

评估入口会自动校验question_type标签、检查图像存在性，再经由 scripts/test_raw_eval_pipeline_opt/pipeline.py 的共享管线完成推理与离线指标计算，结果写入eval/output_benchmark/。全部参数说明见 eval/README.md 与 inference/README.md。

📁 项目文件导读

一句话总结

📷 PRISM-VL 的回答是：别让模型对着影子猜，把测量还给它。用 RAW 派生 Meas.-XYZ + 相机元数据，配合最小成本的 LoRA 微调，即可显著找回被 RGB 渲染抹掉的低照度文字、HDR 与场景识别等敏感证据。