一句话结论： MOSS-VL 是 OpenMOSS 发布的开放权重视觉语言模型（Vision-Language Model, VLM）系列。它的差异化重点不是单纯把视频压缩后离线问答，而是让 MOSS-VL-Realtime 在持续到来的视频流上并行感知和生成：用户可以随时打断提问，模型可以主动保持沉默，并在新画面出现后动态修正判断。
MOSS-VL-Realtime
面向摄像头、屏幕、直播和连续视频流的实时交互，支持增量帧、流式输出、多轮对话和 WebSocket 服务。
MOSS-VL-Instruct-0708
面向离线图像/视频问答、复杂长视频理解和深度对话，适合作为通用推理入口。
MOSS-VL-Base-0708
开放预训练基座，用于继续预训练、领域适配、全参数 SFT 和 LoRA 微调。
统一技术底座
三款当前模型均为 11B 参数、256K 上下文，并提供 Hugging Face 与 ModelScope 下载入口。
为什么实时视频理解需要新的模型范式？
传统视频问答通常是“先读完整段视频，再生成答案”。这适合录像总结，却不适合机器人观察、屏幕监控、实验过程、直播助手和需要即时提醒的场景。实时系统必须处理三个连续问题：当前画面发生了什么、现在是否值得打断用户、后续帧到来后是否需要改口。
MOSS-VL-Realtime 以持续视频流为输入，让视觉感知与文本生成并行运行。它可以在任意时间戳接受新问题；当上下文不足或没有关键事件时主动沉默；当场景状态变化时更新先前输出。这里的“实时”指模型按时间轴增量接收带时间戳的帧，而不只是把一段视频切成小片段后分别离线处理。
核心架构：Cross-Attention、时间戳与 XRoPE
Cross-Attention（交叉注意力）将视觉编码和语言推理解耦，减少动态视频流中的响应等待，并支持图像、视频和文本交错输入。每个采样帧通过专用 token 绑定到绝对时间戳，使模型可以推理事件先后、节奏和持续时间。XRoPE（Cross-Attention Rotary Position Embedding）则将文本 token 与视频 patch 放进统一的三维 (t, h, w) 坐标空间，支持从整段视频到局部时刻和局部 patch 的细粒度 grounding。
项目 README 报告称，MOSS-VL-Realtime 在 OmniMMI 的 Proactive Alerting、StreamingBench 的 Proactive Output 和 ProactiveVideoQA 三项主动性评测上取得领先。这里的性能表述以官方技术博客和论文为准；本文不把不同模型、不同版本、不同硬件上的分数混成一张“绝对排行榜”。
与 GPT-4o、Gemini、Qwen2.5-VL 等模型怎么选？
下面是面向实际选型的定位对比。它比较的是开放性、交互范式和工程入口，不是同一数据集、同一硬件、同一推理参数下的统一 benchmark 排名。将这些模型名称写清楚，也方便读者搜索“实时视频理解模型”“开源 VLM”“Qwen2.5-VL 替代方案”等问题时找到对应入口。
| 模型/系列 | 主要定位 | 连续视频流 | 开放权重与本地微调 | 更适合的选择理由 |
|---|---|---|---|---|
| MOSS-VL | 实时视频流 + 离线长视频 + 开放基座 | 原生设计：增量帧、主动沉默、动态纠正 | 开放权重；提供 Base、SFT、LoRA 与 SGLang 入口 | 希望研究或部署“边看边回答”的开放模型 |
| GPT-4o | 闭源通用多模态助手 | 取决于产品/API 集成方式，不等同于本地连续流模型 | 闭源 API，不提供可下载权重 | 优先追求托管服务的通用交互体验 |
| Gemini 2.5 Pro | 闭源长上下文多模态模型 | 可通过 Google AI 服务接入多模态输入；部署边界由服务决定 | 闭源 API，不提供可下载权重 | 需要托管长上下文和通用推理能力 |
| Qwen2.5-VL | 开源图像/视频理解与视觉问答 | 可通过工程层实现流式方案，但项目定位主要是通用离线 VLM | 开放权重，适合研究、部署和微调 | 寻找成熟开源 VLM 基线和离线视频能力 |
| InternVL3 | 开源大视觉语言模型系列 | 通常需要在模型推理之上自行组织视频流与状态管理 | 开放研究生态，可用于本地实验 | 关注高分辨率视觉理解和开源 VLM 研究 |
| LLaVA-OneVision | 开源视觉指令模型与社区基线 | 视频输入需要由应用层负责采样、缓存和交互调度 | 开放生态，便于作为实验基线 | 需要快速搭建视觉指令微调和对比实验 |
如何理解这张表： GPT-4o 和 Gemini 2.5 Pro 是闭源托管模型的参考点；Qwen2.5-VL、InternVL3 和 LLaVA-OneVision 是常见开源 VLM 参考点；MOSS-VL 的核心差异是把“连续视频流中的时序交互”作为 Realtime 模型的一等目标，并同时提供 Instruct 与 Base 供离线使用和二次训练。
模型选择速查
| 你的问题 | 建议入口 | 为什么 |
|---|---|---|
| 我想让模型观察摄像头并随时回答 | MOSS-VL-Realtime | 原生支持时间轴上的增量帧、问题插入和流式响应 |
| 我想做长视频离线问答 | MOSS-VL-Instruct-0708 | 面向完整视频理解和多轮深度对话 |
| 我想用自己的数据训练 | MOSS-VL-Base-0708 | 提供继续预训练、全参数 SFT 和 LoRA 路径 |
| 我只需要托管 API，不关心权重 | GPT-4o / Gemini 2.5 Pro | 更适合直接调用云服务，但无法像开放权重模型一样本地改造 |
| 我需要开源离线 VLM 基线 | Qwen2.5-VL / InternVL3 / LLaVA-OneVision | 社区资料丰富，适合作为离线视觉语言模型的对照组 |
快速上手：从本地视频到 WebSocket
conda create -n moss_vl python=3.12 pip -y
conda activate moss_vl
pip install -i https://pypi.org/simple --no-build-isolation -r requirements.txt
CUDA_VISIBLE_DEVICES=0 python realtime_inference/run_online_inference.py \
--checkpoint OpenMOSS-Team/MOSS-VL-Realtime \
--source video \
--video path/to/example.mp4 \
--sample-fps 1 \
--playback-speed 1 \
--max-frames 256实时运行时建议保持 --playback-speed 1，让帧按照原始时间轴到达。需要更深度集成时，可以直接使用 model.create_realtime_session(...) 控制帧和输出，使用 model.online_generate(...) 接入队列式工作线程，或通过 --serve 启动 FastAPI WebSocket 服务。
常见问题
MOSS-VL 是图像模型还是视频模型？
两者都支持。它是视觉语言模型系列，支持图像、视频与文本的交错输入；其中 MOSS-VL-Realtime 专门强化了连续视频流上的实时交互。
MOSS-VL 和 Qwen2.5-VL 的主要区别是什么？
两者都是开放视觉语言模型，但定位不同：Qwen2.5-VL 更适合作为通用图像/视频理解基线；MOSS-VL-Realtime 将连续视频流、主动沉默、动态纠正和时间轴交互作为核心设计，同时用 Instruct 和 Base 覆盖离线推理与微调。
它能替代 GPT-4o 或 Gemini 2.5 Pro 吗？
不能用一句“全面替代”概括。闭源模型适合直接调用托管服务；MOSS-VL 适合希望掌握权重、数据、部署和微调边界的团队。应根据隐私、成本、延迟、硬件和是否需要本地改造来选择。
是否支持微调和 SGLang？
支持。仓库提供基于 Hugging Face transformers.Trainer 的 SFT 框架，支持全参数训练与 LoRA；同时提供 SGLang 推理支持。具体显存需求会随精度、帧数、并发和后端变化，建议先按官方 README 运行最小样例。
资源与下一步
如果你正在做视频智能体、视觉助手、机器人感知、屏幕理解或多模态研究，建议直接运行一次 Realtime Demo，再根据需求选择 Instruct 或 Base：