目录
Jev-Mem 是一个开源记忆基础设施,将 AI 智能体整理和检索记忆的处理与思考回答的处理分开。在论文的 LoCoMo 评估中,使用 GPT-4o-mini 的回答质量和检索速度均优于对比对象。
要点#
- 轻量级 System One 负责管理和检索记忆,System Two 的语言模型生成最终回答。
- 保留观察内容及其来源,并基于语义、时间、因果、实体四种关系进行检索。
- LoCoMo 评估报告的回答质量得分为 0.777,记忆构建耗时 158 秒,平均响应时间为 0.93 秒。
- 离线演示无需 API 密钥,但验证论文中的性能需要真实数据和模型。
这个工具能做什么#
随着对话历史变长,查找所需信息的成本也会增加。Jev-Mem 不仅保存观察内容,还控制哪些信息应关联起来、根据问题搜索哪里,以及何时结束检索。
记忆以语义、时间、因果、实体四种图的形式组织。例如,回答“何时发生”时沿时间关系查找,回答“为何发生”时沿因果关系查找。同时保留原始观察内容、时间戳和来源。
工作机制与检索#
接收新的观察内容后,Jev 会判断记忆类型及其与已有信息的关系。按时间戳排序等可由代码确定的链接,则由常规处理负责。检索时,先通过向量检索和关键词检索收集候选项,再选择符合问题的图进行探索。
检索过程中还会评估找到的证据是否充足。充足时停止,必要时继续探索,然后将选定的证据交给 System Two 生成回答。通过配置和执行轨迹,可以查看检索位置、探索量和停止原因等信息。
看看论文中的数据#
论文中的 LoCoMo 评估使用 GPT-4o-mini 作为回答模型。总体得分为 0.777,对比对象 MAGMA 为 0.700。记忆构建耗时 158 秒,短于对比对象中最快的 Nemori 的 1,044 秒;平均响应时间为 0.93 秒,低于 MAGMA 的 1.47 秒。
按问题类别划分,Jev-Mem 在 5 个类别中的 4 个类别上得分最高。时间相关类别则是 MAGMA 更高。这些是论文报告的测量值,比较是在数据集、模型和评分方法一致的条件下进行的。在你自己的应用场景中,不一定会出现同样的差距。
先离线试用#
需要 Python 3.11 或更高版本。获取仓库后,创建虚拟环境、安装依赖,然后启动演示。
python3.11 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt
python -m jev_mem.demo此演示使用合成数据和确定性的模拟处理。无需 API 密钥或下载模型,即可查看记忆与检索流程及决策轨迹,但不能用于衡量回答质量。在 Windows 上,请使用 .venv\Scripts\Activate.ps1 激活虚拟环境。
使用真实数据时的注意事项#
使用真实模型时,需要在仓库根目录的 .env 中设置 TYPESAFE_API_KEY 和 OPENAI_API_KEY。Jev 负责记忆相关决策,兼容 OpenAI 的模型负责生成回答和评估。默认嵌入方式 minilm 会在首次使用时下载模型。
如果希望在本地运行决策处理,也可以将 Laya 用作 System One。通过 pip install '.[laya]' 即可安装,Laya 的决策无需 TypeSafe API 密钥。不过,回答生成和评估仍使用已配置的模型提供商,模型权重也会在首次使用时下载。论文报告的数据来自 Jev,未列出 Laya 的论文基准测试结果。
运行时,文本会发送至所配置的提供商,并可能产生使用费用。请先确认密钥、对话数据及生成缓存的处理方式,再导入真实数据。
下一步#
先运行 GitHub 上的离线演示,通过决策轨迹查看记忆添加和检索的流程。之后,如果要试用自己的数据,请先确认发送目标和费用,再配置 .env。
来源: https://github.com/libingzheren/Jev-Mem
目录
