MemT 1.0 – 记忆张量开源的记忆原生基础模型

AI模型6小时前更新 老高
8 0

MemT 1.0 是一款由记忆张量(MemTensor)于 2026 年 10 月推出的记忆原生基础模型,主要用于将可持续存在、能够更新的内部记忆纳入模型计算,使历史信息与任务经验在后续相关任务中被直接调用而无需再次提供原始文本,支持逐 token 记忆更新与混合存储扩容,适用于长程对话、编程智能体与个性化服务等场景。

基础信息内容
产品定位记忆原生基础模型系列
出品方记忆张量(MemTensor)
发布时间2026 年 10 月 20 日
模型构成MemT-1.0-Flash 与 Nano 两款
参数规模288B 激活 17B;36B 激活 3B
模型底座DeepSeek-V4-Flash;Qwen3.6-35B-A3B
记忆机制Gated DeltaNet-2 逐 token 更新
记忆基准11 项平均 50.6 与 47.0
开源协议Flash 为 MIT,Nano 为 Apache 2.0
MemT 1.0 GitHub 仓库页面截图

MemT 1.0 的核心能力

MemT 1.0 要解决的不是上下文窗口不够长,而是历史信息能否沉淀为模型自身的能力。以下六项按这个目标展开;同赛道的其他模型可在 AI 模型 分类中查看。

并行记忆通路

在选定的 Transformer 模块中加入原生记忆模块,记忆注意力与原有注意力并行运行;读取结果经归一化与门控后叠加到主干注意力的输出上,参与后续生成。

局部记忆与超记忆

局部记忆块维护一个动态的多通道记忆矩阵,随交互步骤持续演化;超记忆块包含可训练的记忆查询、键、值投影,以及擦除、写入、遗忘与输出四类门控。

逐 token 稳定更新

每轮交互结束后的存储过程中,按 Gated DeltaNet-2 机制逐 token 更新记忆,通过擦除、写入与遗忘三步把新信息并入已有记忆,替代按轮次聚合的粗粒度更新。

混合存储扩容

引入 Mixture-of-Storage(MoS),把单个原生记忆模块扩展为多个记忆专家,采用所有专家共同参与的稠密路由分配信息,为记忆容量扩展提供机制。

固定大小的持久化状态

新信息更新现有矩阵而非追加,持久化状态大小不随历史持续扩大;主评测配置下 Nano 每条轨迹 FP32 状态约 40 MiB,Flash 约 1280 MiB,不含共享权重与当前轮缓存。

经验写入与调用

编程智能体可把问题复现方法、失败模式与验证流程等操作经验写入内部记忆,后续动作直接读取,不必持续以文本形式占用任务上下文。

MemT 1.0 与同类记忆方案的对比

下表把参数化记忆路线与两类外部记忆方案放在一起。三者要解决的是同一个问题——让模型用上历史信息,差别在记忆存在哪里、如何更新。

对比维度MemT 1.0GraphitiMemOS
出品方记忆张量Zep记忆张量
记忆路线参数化记忆,状态写入模型内部时序知识图谱,三元组带时间戳文本记忆,明文存外部记忆库
读写方式读写都在前向计算中完成,不用检索增量更新图谱,混合检索查询对外部记忆库的文本做直接修改
查询条件查询时不用回放原始历史需构建并查询知识图谱依赖检索注入原文或证据
更新方式随交互逐 token 并入新信息,不用微调事件驱动,时态边失效覆盖直接改写外部文本
存储增长状态固定,128K 下约为全集 1/66规模随事件数量增长随历史文本线性增长
长历史表现精确信息的保真仍有损失,长历史下不如文本记忆依赖图谱质量,细节保留好整体占优,长测试更稳

上表 MemT 1.0 与 MemOS 两列取自记忆张量官方材料,Graphiti 一列取自本站产品页。读写方式上三路线分歧最大:MemT 写进模型状态、免检索查询,Graphiti 靠图谱遍历,MemOS 改外部文本;存储增长决定长对话成本:MemT 状态固定,另两者随历史增长;长历史表现是当前短板,官方承认参数化记忆保真度仍弱于文本记忆。重长程一致与存储成本选 MemT,要细节保真与可解释追溯选 Graphiti。

MemT-1.0-Nano 的底座是 Qwen3.6-35B-A3B。如果想了解这一代 MoE 架构基座的能力基线,可以查看 Qwen3.6-35B-A3B(阿里巴巴推出的 35B 级混合专家模型,Nano 的记忆能力即在它的主干上训练而成)。

MemT 1.0 的应用场景与适用人群

它适合需要跨会话延续记忆、又不愿把整段历史反复置入上下文的场合,典型用途包括:

  • 长程对话助手:跨会话记住用户偏好与历史决定,不必每次重复背景信息。
  • 编程智能体:把问题复现方法、失败模式与验证流程存入记忆,后续任务直接调用。
  • 个性化服务:按历史交互调整回答风格与推荐,不把原文存进当前上下文。
  • 客服与工单:承接上次聊到的问题与处理进度,减少用户重复描述。
  • 知识工作自动化:在长文档、多文档任务中保留中间结论,供后续步骤引用。

适用人群:适合需要长程记忆的对话产品与智能体开发团队,以及做编程自动化、个性化服务的研究与工程人员;只处理单轮问答、或历史信息需逐字追溯存档的场景,文本记忆方案更合适。

MemT 1.0 的使用方法

MemT 1.0 以开源权重形式提供,两条路径分别面向部署运行与评测复现;官方未提供面向个人的在线产品。

下载权重:在 Linux 环境搭好 CUDA 与 SGLang

  1. 获取权重:访问 MemT 1.0 官方仓库,按 README 指引从 Hugging Face 下载 Flash 或 Nano 权重。
  2. 准备环境:安装 Linux 系统、NVIDIA CUDA 驱动与 Python 3.11 以上版本,按仓库 inference 目录示例安装 SGLang 依赖。
  3. 运行推理:按示例脚本加载权重并启动服务,Nano 单条轨迹 FP32 记忆状态约 40 MiB,部署前预留相应存储。
  4. 写入与查询:按「上下文—查询—回答」格式交互,历史按时间顺序写入记忆,不同用户的记忆状态相互隔离。

复现评测:按技术报告核对记忆与通用能力

  1. 阅读报告:打开仓库中的 tech_report.pdf 或 arXiv 论文 2610.26825,确认 11 项记忆基准的题集与评测口径。
  2. 准备数据:按报告说明准备各基准数据,历史文本只写入记忆,查询上下文不提供原始历史。
  3. 运行评测:按仓库提供的脚本运行记忆能力与通用能力两部分,记录平均分与分项分数。
  4. 对比基线:与报告中的 MemoryLLM、Graphiti 等参数化与文本记忆方法结果逐项对照。

官方未提供在线体验入口,使用前需自备算力;当前经验应用依赖外部经验库的构建与检索,尚未形成自主获取并持续整合经验的闭环,长历史下的精确信息保真仍有损失。

MemT 1.0 的项目地址

  • GitHub 主仓库:https://github.com/MemTensor/MemT-1.0
  • Hugging Face 模型库:https://huggingface.co/collections/MemTensor/memt-1

MemT 1.0 的价格与开源情况

MemT 1.0 两款模型的权重均通过 Hugging Face 与 GitHub 免费开放,软件本身不收费,成本来自自建推理所需的算力与存储;截至 2026 年 10 月 22 日核查,官方未提供托管 API 或付费服务。

开源协议分两款:MemT-1.0-Flash 采用 MIT 许可证,MemT-1.0-Nano 采用 Apache 2.0 许可证,均允许商用;仓库附带基于 SGLang 的推理示例,要求 Linux 环境、NVIDIA CUDA 与 Python 3.11 以上版本。

MemT 1.0 的常见问题

MemT 1.0 和 RAG 有什么区别?

RAG 在查询时检索历史原文注入上下文,MemT 把历史写进模型内部记忆状态,查询时不再提供原始文本,持久化状态大小也保持固定。

MemT 1.0 能商用吗?

可以。Flash 为 MIT 协议、Nano 为 Apache 2.0 协议,权重免费开放,商用成本主要是自建推理的算力与存储开销。

本地跑 MemT 1.0 需要什么配置?

官方示例基于 SGLang,要求 Linux、NVIDIA CUDA 与 Python 3.11 以上;Nano 每条轨迹 FP32 记忆状态约 40 MiB,Flash 约 1280 MiB,需预留相应存储。

MemT 1.0 的记忆能记多久?

持久化状态大小固定、不随历史增长,但容量有限;官方承认精确信息的长期保真仍是挑战,长历史测试中整体弱于文本记忆方案。

© 版权声明

相关文章