记忆张量开源发布MemT 1.0系列记忆原生模型,包含两款:MemT-1.0-Nano总计36B参数、激活3B,基座为Qwen3.6-35B-A3B;MemT-1.0-Flash为288B参数、激活17B,基座是经过进一步后训练的DeepSeek-V4-Flash。
该系列的做法是在选定Transformer模块中增加与原注意力并行的记忆计算通路,把经验编码成内部动态状态,再通过训练学习写入、更新和读取,让这些状态经记忆分支参与后续计算。
据该报道,在同样的128K长历史下,Nano的端到端推理速度约为完整上下文方案的1.86倍,相同历史长度中每条轨迹的持久状态占用是完整上下文KV Cache的六十六分之一。
AI 根据报道生成 · 2 小时前更新