核心交互范式
为了让模型像人一样具备应对真实流速的能力，我们打破了传统的按秒轮询或外部开口调度机制，直接赋予了 MOSS-VL-Realtime 三种核心交互行为：
打破“先看后答”的迟滞。用户可在任意一秒提问，模型即刻基于当前画面给出回应。
“让子弹飞一会儿”。信息不足或无关键事件时，自主保持沉默与等待。
认知随画面动态更新。随着新画面持续流入，即时调整并修正此前的回答。
这三种自然的交互方式，出自同一个底层设计：视频帧、用户提问与模型回答被排进了同一条 token 流。对话发生于持续流入的画面之间，而提问就像看直播时的“弹幕”，可以在时间线的任意位置无缝插入。
图 1 展示了这种统一且交错的流式输入序列是如何在底层运作的。
图 1：流式输入表示机制。上方（A 栏）表征人类直觉感知：观看与回答处于并行状态，当画面发生突变时，模型能够即时修正回答。下方（B 栏）表征模型的实际序列表示：整个交互被编码为单条交错的 Token 序列，携带绝对时间戳的视频帧嵌入尚未闭合的对话轮次中，用户提问在任意时刻拼接为新轮次，而 <|silence|> 则作为显式的沉默 Token 参与决策。
架构设计与时空表征
MOSS-VL-Realtime 的基础架构专为长程流式视频理解设计，其核心要素包括：
- 解耦交叉注意力（Decoupled Cross-Attention）：将视频特征提取与文本生成阶段的交叉注意力计算解耦，在处理高频视频帧时能够显著降低端到端的吞吐与延迟开销。
- 绝对时间戳（Absolute Timestamps）：为输入视频序列的每一帧编码绝对时间信息，使模型能感知物理世界的真实流速，不依赖固定的帧速率（FPS）或相对位置。
- 跨维度旋转位置编码（XRoPE）：构建统一的时空位置表示，将视频特征的空间维度 $(h, w)$ 与时间维度 $t$ 统一映射，从而在长程上下文交互中提供精准的时空定位和特征关联。
这种交互与时空建模能力不仅得益于架构的合理设计，更源于多模态语料的全面重构。我们引入了全新的流式 SFT 交互训练方案，使得模型能够在序列生成的任一时刻精准预测说话时机或主动保持沉默。
监控与告警
DEMO 01雪夜街头监控。在无事发生时保持真实的静默，而在目标人员摔倒的瞬间即刻发出告警。
DEMO 02只关注约定的目标事件：猫咪触碰萝卜的瞬间即刻输出“真棒”，其余时刻始终保持静默。
实时解说与演讲
DEMO 03以专业电视解说的口吻实时播报足球比赛，传球、射门与进球等关键动作在发生的当下被即时捕捉并解说。
DEMO 04以演讲者的身份对幻灯片进行即兴演讲，随翻页即时衔接每一页的要点，从开场到收尾一气呵成。
时间与数值感知
DEMO 05逐次捕捉投篮命中的瞬间，实时报出当前的累计次数。
DEMO 06观察豌豆发芽的延时摄影，捕捉画面关键变化，并准确报出发生改变的天数。
DEMO 07盯着手写解题的过程，每当新一行公式落笔，便即时将其转写输出。
互动解读与点评
DEMO 08扮演一位手相大师，待掌纹画面清晰后开口，边观察边逐条解读。
DEMO 09实时点评镜头前的穿搭；当用户换装归来，即刻察觉画面变化，并针对新造型继续给出建议。
模型能力
MOSS-VL-Realtime 展现出显著增强的流式交互能力，在多项流式视频理解基准（Streaming Benchmarks）中达到开源 SOTA 水平，并在复杂动态任务中提供更可靠、即时的响应。
在核心交互层面，模型以领先行业的“主动开口”能力与物理世界“同频”，独立且精准地判断发声时机与主动沉默。
同时，流式感知、时空定位与长程上下文能力持续强化，面对突发事件与画面反转，模型总能即时纠正。
凭借这些底层突破，该模型在多个流式 Benchmark 中取得了开源 SOTA 成绩，持续拓展无缝流式交互的边界，对时间变化、关键动作以及突发状况的理解变得前所未有地敏锐。
流式视觉语言模型不仅需要理解“画面内容”，更需要精准判断“开口时机”。为全面检验 MOSS-VL-Realtime 的实时推理能力，我们在四个核心评测集上进行了深度评测。下图逐子集展示了各 Benchmark 全部维度的横向对比。
离线基础能力
在此次迭代中，我们对数据体系进行了系统性重构与深度优化，为模型夯实了强大的基础能力底座。得益于此，同代 Instruct 模型不仅在离线能力上保持了极佳的稳健水位，更在细粒度多模态感知（V*Bench 89.0, BLINK 78.0）及高难度时序动作定位任务中取得了显著提升。在长程视频理解（VideoMME, MLVU）与复杂文档表格分析（DocVQA, ChartQA）上，我们依然发挥极其稳定，综合能力全面对齐甚至部分领跑同等规模的顶级开源基线。
引用
@misc{mossvlrealtime2026,
title = {MOSS-VL-Realtime},
author = {OpenMOSS Team},
year = {2026}
}