SenseNova-MARS – 商汤科技开源的多模态自主推理与视觉搜索模型

SenseNova-MARS是什么

SenseNova-MARS是由中国AI企业商汤科技（SenseTime）推出的开源多模态自主推理模型，属于视觉语言模型（Vision-Language Model, VLM）的一类。该模型提供8B和32B两个参数规模版本，旨在将视觉理解能力与知识检索、逻辑推理能力深度融合，从而实现更复杂任务的闭环执行能力。SenseNova-MARS通过Agentic架构设计，将视觉输入、文本输入、信息搜索与工具调用能力耦合，使模型不仅具备跨模态理解能力，还具备类“智能体”任务规划与执行能力。在多个开源多模态基准测试中，SenseNova-MARS展现出在图文搜索与细粒度视觉理解方面的优秀表现，这标志着多模态大模型向更自主执行复杂推理任务的演进。SenseNova-MARS的设计目标是为研究者和开发者提供一个开放、可扩展的自主推理平台，并推广多模态Agent在实际应用中的落地与探索实践。

SenseNova-MARS的主要功能

• 多模态搜索推理：SenseNova-MARS能够结合视觉输入与文本输入进行跨模态信息检索，并动态融合图像搜索、文本搜索等外部知识源，支持多跳推理闭环任务。
• 动态视觉细节分析：该模型具备对4K/8K高清图像中微小细节（如占比不足5%的标志或文字）进行自动裁剪、放大和深入分析的能力。
• 自主工具调用：在执行复杂任务时，SenseNova-MARS可以自动规划、调用图像裁剪、文本搜索、图像搜索等工具，无需外部指令干预地完成多步骤流程。
• Agent式任务执行：模型内部集成了任务规划机制，能够像智能体一样分解复杂任务流程，协调执行各类推理与检索步骤以产出解答。
• 双版本灵活部署：提供8B与32B两个规模版本，8B版本适合在算力受限环境下部署，32B版本适合在更高算力下实现更强逻辑推理与细节理解。
• 知识增强推理：通过将实时搜索能力与视觉认知紧密集成，SenseNova-MARS可以在推理过程中借助外部知识扩展模型理解的广度与深度。
• 高性能基准表现：在如MMSearch、HR-MMSearch、FVQA、InfoSeek等多模态综合基准测试中，SenseNova-MARS展现出较高的综合得分与稳健性能表现。

SenseNova-MARS的技术原理

• Agentic VLM架构：SenseNova-MARS采用Agentic视觉语言模型架构，将视觉输入、语言理解与工具调用混合为一个内生逻辑体系，通过反复推理与工具执行迭代完成任务。
• 多模态集成机制：模型核心设计了动态融合图像信息与文本信息的机制，使视觉输入与文本查询共同影响推理轨迹与结果。
• 工具调用与执行策略：模型在推理过程中可以选择执行文本搜索、图像搜索、图像裁剪或输出最终答案等操作，每一步执行均由内部策略自动规划。
• BN-GSPO强化学习优化：SenseNova-MARS利用Batch-Normalized Group Sequence Policy Optimization（BN-GSPO）算法对工具调用与推理策略进行训练，使多工具协同更稳定有效。
• 两阶段训练流程：模型首先进行有监督冷启动训练以习得基本的推理与工具调用范式，然后采用强化学习方法提升策略稳定性与推理深度。
• 结构化动作空间：模型将工具使用行为抽象为结构化动作，以规范化的交互模式确保各类操作在推理链路中统一执行。
• 自动化数据合成：为提升模型处理复杂情境的能力，训练阶段加入自动化生成的高复杂场景数据，以强化多步骤推理与跨模态理解能力。

如何使用SenseNova-MARS

• 模型下载部署：访问官方GitHub仓库或HuggingFace模型库下载对应参数规模的SenseNova-MARS模型权重与代码。
• 环境依赖准备：在本地或云端环境中配置Python与深度学习框架（如PyTorch）以及模型运行所需的依赖包。
• 加载模型与工具接口：在代码中加载SenseNova-MARS模型，同时初始化图像裁剪、文本搜索、图像搜索等工具接口以支持推理调用。
• 输入数据处理：准备图像与文本输入，按模型规范对数据进行预处理（如图像缩放、文本tokenization等）。
• 推理执行：调用模型的推理接口，传入多模态输入，SenseNova-MARS会自动规划推理步骤与工具使用计划。
• 解析结果：根据模型返回的推理结果与工具调用记录，解析最终答案并处理相应输出。

SenseNova-MARS的项目地址

• GitHub仓库：SenseNova-MARS 官方 GitHub 仓库
• HuggingFace模型库 – 32B：SenseNova-MARS 32B 模型（HuggingFace）
• HuggingFace模型库 – 8B：SenseNova-MARS 8B 模型（HuggingFace）
• 技术论文（arXiv）：SenseNova-MARS 技术论文（arXiv）

SenseNova-MARS的应用场景

• 体育赛事分析：在体育赛事影像中，SenseNova-MARS可以识别微小标识与人物特征，并结合检索信息构建运动员成绩对比与赛况分析。
• 商业情报获取：通过对企业峰会或产品展示图片的视觉理解与文本搜索，模型能自动提取企业背景、产品参数及行业资讯以辅助商业分析。
• 新闻事实验证：在新闻图片中识别人物、地点或事件细节，并结合跨媒体搜索结果，辅助记者或调查者验证报道真实性。
• 学术图像理解：模型可以分析复杂图表、可视化数据，并自动检索相关研究背景文献，加速学术综述与知识整合过程。
• 智能地理导览：在旅游场景下对地标图像进行识别，并结合搜索引擎结果提供文化与历史背景信息，提升旅行体验。
• 医疗影像辅助分析：在医疗影像处理中，SenseNova-MARS可辅助识别重要细节，并结合医学知识库检索结果支持初步诊断参考。
• 现场安防监控：分析高分辨率监控画面中的细小目标，对潜在风险事件进行自动识别与背景信息补充。
• 教育辅助工具：作为教学辅助，模型能够对教学视觉资料进行深入解析并检索相关知识点，为学生提供多模态学习参考。

SenseNova-MARS的常见问题解答（FAQ）

• SenseNova-MARS适合哪些使用者？
  答：SenseNova-MARS适合AI研究者、开发者、数据科学家及对多模态推理与视觉语言Agent感兴趣的技术人员使用，特别适用于需要处理视觉与文本混合推理任务的团队和项目。
• 这个模型属于通用模型还是垂直领域模型？
  答：SenseNova-MARS属于通用多模态视觉语言模型，设计上兼顾视觉理解与知识检索，其能力可应用于多个行业场景，不局限于单一垂直领域。
• SenseNova-MARS是否开源，支持商用吗？
  答：SenseNova-MARS已经向社区开源，代码及模型权重可在GitHub和HuggingFace平台访问。具体商业使用须根据其开源协议（如MIT等）及相关依赖工具的许可协议评估是否符合商用需求。
• 使用SenseNova-MARS对硬件有哪些基本要求？
  答：在部署SenseNova-MARS时，需要具备支持深度学习推理的GPU环境，如NVIDIA GPU及CUDA支持，以保障模型运行性能。8B版本相对资源需求较低，32B版本适合高算力环境运行。
• 与其他通用大模型相比，SenseNova-MARS有何定位差异？
  答：与主要聚焦自然语言生成的大模型相比，SenseNova-MARS强调视觉语言融合与动态工具调用能力，其设计目标在于实现视觉输入与知识检索的闭环跨模态推理，而非单一文本生成。
• 适合个人用户或初学者使用吗？
  答：SenseNova-MARS适合具备一定机器学习与深度学习基础的用户。对初学者而言，需要掌握基本的模型部署与推理代码集成技能才能有效使用。
• 主要应用边界是什么？
  答：SenseNova-MARS在高分辨率视觉理解与跨模态推理方面表现出优势，但在超长对话生成、纯语言创作等任务上，其优势不如专门的大型语言模型，对于特定领域任务仍需结合领域知识与专用工具。