OpenMOSS Research

MOSS-VL-Realtime

世界没有进度条。它不会暂停，不能回放，也不等任何人看完再继续。

然而，视频大模型的默认范式仍是“离线”的：AI 像一个事后看录像的旁观者，面对一个已经结束的世界，先看完、再作答；一旦开始作答，便对眼前正在发生的新画面视而不见。这种“先看后答”的模式在复盘时足够好用，但在分秒必争的真实世界里，却显得迟钝。

我们认为，当 AI 真正走向物理世界，它必须活在“正在进行时”。我们希望赋予模型一种应对现实流速的能力：它需要自己判断发声的时机，在突发状况时即时开口，在信息不足时安静观察，甚至在话说到一半时，也能随着画面的反转而立刻改口纠正。

因此，今天我们开源 MOSS-VL-Realtime：一个 11B 规模、开放权重的流式视频理解模型。这不仅是我们的一项新技术发布，更是我们试图打破这道“时间壁垒”的答案。

我们的目标很简单：让视频理解彻底从“看录像”走向“看直播”。看与答不再分先后，回答在观看中生成，也在观看中被修正。每个 token 都在开口与沉默之间做选择。我们希望借此让 AI 终于与真实的物理世界“同频”，并以完全开源的方式，邀请整个社区共同探索多模态交互的下一步。

核心交互范式

为了让模型像人一样具备应对真实流速的能力，我们打破了传统的按秒轮询或外部开口调度机制，直接赋予了 MOSS-VL-Realtime 三种核心交互行为：

随时应答

打破“先看后答”的迟滞。用户可在任意一秒提问，模型即刻基于当前画面给出回应。

主动沉默

“让子弹飞一会儿”。信息不足或无关键事件时，自主保持沉默与等待。

及时纠正

认知随画面动态更新。随着新画面持续流入，即时调整并修正此前的回答。

这三种自然的交互方式，出自同一个底层设计：视频帧、用户提问与模型回答被排进了同一条 token 流。对话发生于持续流入的画面之间，而提问就像看直播时的“弹幕”，可以在时间线的任意位置无缝插入。

图 1 展示了这种统一且交错的流式输入序列是如何在底层运作的。

自动循环播放 · 把鼠标放在胶片条上左右移动 = 进度条(停住即定格,往回拖即倒带)· 悬停下方元素:A、B 两栏对应物互相高亮
A · 人类视角 视觉接收与语言表达同步发生 摄像头 / 现场 0.0s 1.2s 2.3s1 3.5s3⚡ 第三个人进来了 4.6s 用户 "房间里有多少个人?" 2 模型 "两个人" "现在有三个人了" 回答仍在持续输出、新的画面帧不断到达——场景一旦改变，回答随即改变方向。 B · 模型视角 单一的交错 Token 序列 system ▸ ··· <|im_start|>assistant <|silence|> ··· <|vision_start|><|time_start|>2.3 s<|time_end|>▦<|vision_end|>1 <|silence|> <|im_end|> <|im_start|>user 房间里有多少个人?2 <|im_end|> <|im_start|>assistant 提问随时可能发生——当前开放的对话轮次被闭合，一个新的轮次被拼接接入。 两个 人 <|vision_start|><|time_start|>3.5 s<|time_end|>▦<|vision_end|>3⚡ 现在 有三个人了 ··· 新画面帧在作答期间切入——后续 Token 随之改变生成方向。 视觉 Token — 帧 + 绝对时间戳 <|silence|> — 显式沉默 Token 生成的回答 轮次结构 用户文本

图 1：流式输入表示机制。上方（A 栏）表征人类直觉感知：观看与回答处于并行状态，当画面发生突变时，模型能够即时修正回答。下方（B 栏）表征模型的实际序列表示：整个交互被编码为单条交错的 Token 序列，携带绝对时间戳的视频帧嵌入尚未闭合的对话轮次中，用户提问在任意时刻拼接为新轮次，而 <|silence|> 则作为显式的沉默 Token 参与决策。

架构设计与时空表征

MOSS-VL-Realtime 的基础架构专为长程流式视频理解设计，其核心要素包括：

MOSS-VL-Realtime Architecture
图 2：MOSS-VL-Realtime 架构示意图。展示了解耦交叉注意力机制与时空表征模块的连接方式，支持音视频输入在统一的时空特征空间下进行高效交叉计算。

这种交互与时空建模能力不仅得益于架构的合理设计，更源于多模态语料的全面重构。我们引入了全新的流式 SFT 交互训练方案，使得模型能够在序列生成的任一时刻精准预测说话时机或主动保持沉默。

能力演示

能力快览 监控与告警 实时解说与演讲 时间与数值感知 互动解读与点评

监控与告警

DEMO 01雪夜街头监控。在无事发生时保持真实的静默，而在目标人员摔倒的瞬间即刻发出告警。

DEMO 02只关注约定的目标事件：猫咪触碰萝卜的瞬间即刻输出“真棒”，其余时刻始终保持静默。

实时解说与演讲

DEMO 03以专业电视解说的口吻实时播报足球比赛，传球、射门与进球等关键动作在发生的当下被即时捕捉并解说。

DEMO 04以演讲者的身份对幻灯片进行即兴演讲，随翻页即时衔接每一页的要点，从开场到收尾一气呵成。

时间与数值感知

DEMO 05逐次捕捉投篮命中的瞬间，实时报出当前的累计次数。

DEMO 06观察豌豆发芽的延时摄影，捕捉画面关键变化，并准确报出发生改变的天数。

DEMO 07盯着手写解题的过程，每当新一行公式落笔，便即时将其转写输出。

互动解读与点评

DEMO 08扮演一位手相大师，待掌纹画面清晰后开口，边观察边逐条解读。

DEMO 09实时点评镜头前的穿搭；当用户换装归来，即刻察觉画面变化，并针对新造型继续给出建议。

模型能力

MOSS-VL-Realtime 展现出显著增强的流式交互能力，在多项流式视频理解基准（Streaming Benchmarks）中达到开源 SOTA 水平，并在复杂动态任务中提供更可靠、即时的响应。

在核心交互层面，模型以领先行业的“主动开口”能力与物理世界“同频”，独立且精准地判断发声时机与主动沉默。

同时，流式感知、时空定位与长程上下文能力持续强化，面对突发事件与画面反转，模型总能即时纠正。

凭借这些底层突破，该模型在多个流式 Benchmark 中取得了开源 SOTA 成绩，持续拓展无缝流式交互的边界，对时间变化、关键动作以及突发状况的理解变得前所未有地敏锐。

流式视觉语言模型不仅需要理解“画面内容”，更需要精准判断“开口时机”。为全面检验 MOSS-VL-Realtime 的实时推理能力，我们在四个核心评测集上进行了深度评测。下图逐子集展示了各 Benchmark 全部维度的横向对比。

在图表内左右滑动查看完整评测图。

离线基础能力

在此次迭代中，我们对数据体系进行了系统性重构与深度优化，为模型夯实了强大的基础能力底座。得益于此，同代 Instruct 模型不仅在离线能力上保持了极佳的稳健水位，更在细粒度多模态感知（V*Bench 89.0, BLINK 78.0）及高难度时序动作定位任务中取得了显著提升。在长程视频理解（VideoMME, MLVU）与复杂文档表格分析（DocVQA, ChartQA）上，我们依然发挥极其稳定，综合能力全面对齐甚至部分领跑同等规模的顶级开源基线。

在图表内左右滑动查看完整评测图。

引用

@misc{mossvl,
  title         = {MOSS-VL Technical Report},
  author        = {Wang, Pengyu and Tan, Chenkun and Zhou, Shaojun and Zhou, Qirui and Chen, Yanxin and He, Xingyang and Zeng, Huazheng and Cheng, Jijun and Wang, Chenghao and Qian, Xiaomeng and Wang, Pengfei and Huang, Zhan and Gao, Shanqing and Huang, Wei and Cao, Longjun and Ran, Wu and Liu, Jie and Zhu, Changtai and Wang, Hongkai and Tian, Yixian and Liu, Chenghao and Ye, Zhen and Wang, Xinghao and Jiang, Botian and Feng, Guoguo and Fei, Zhaoye and Li, Ruixiao and Chen, Mingshu and Gao, Yang and Cheng, Qinyuan and Li, Shimin and Qiu, Xipeng},
  year          = {2026},
  eprint        = {2608.15045},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2608.15045}
}