目次

Jev-Memは、AIエージェントの記憶を整理・検索する処理と、回答を考える処理を分けたオープンソースのメモリ基盤です。LoCoMoの論文評価では、GPT-4o-miniを使った回答品質と検索速度の両方で、比較対象を上回る結果が報告されています。

要点#

  • 記憶の管理と検索を軽量なSystem Oneが担い、最終回答はSystem Twoの言語モデルが作ります。
  • 観察内容と出所を保持し、意味・時間・因果・エンティティの4つの関係から検索します。
  • LoCoMo評価では、回答品質0.777、記憶構築158秒、平均応答0.93秒を報告しています。
  • オフラインデモはAPIキー不要ですが、論文の性能を検証するには実データとモデルが必要です。

何をするツールか#

会話履歴が長くなると、必要な情報を探すコストが上がります。Jev-Memは観察を保存するだけでなく、どの情報を結び付け、質問に応じてどこを検索し、いつ検索を終えるかを制御します。

記憶は意味、時間、因果、エンティティの4つのグラフとして扱います。たとえば「いつ起きたか」は時間の関係、「なぜ起きたか」は因果の関係をたどって答える設計です。元の観察内容、タイムスタンプ、出所も保持します。

仕組みと検索#

新しい観察を取り込むと、Jevが記憶の種類や既存情報との関係を判断します。タイムスタンプ順のようにコードで決められるリンクは通常の処理が担当。検索ではベクトル検索とキーワード検索で候補を集め、質問に合うグラフを選んで探索します。

見つけた証拠が足りているかも検索の途中で評価します。十分なら止め、必要なら追加で探索し、選んだ証拠をSystem Twoへ渡して回答を作ります。設定と実行トレースから、検索先、探索量、停止理由などを確認できます。

論文の数字を見る#

論文に掲載されたLoCoMo評価では、GPT-4o-miniを回答モデルに使っています。全体スコアは0.777で、比較対象のMAGMAは0.700。記憶構築時間は158秒で、比較対象のうち最速だったNemoriの1,044秒より短く、平均応答時間は0.93秒でMAGMAの1.47秒を下回りました。

質問カテゴリ別では、Jev-Memは5カテゴリ中4カテゴリで最高スコアでした。時間に関するカテゴリではMAGMAが上回っています。これらは論文で報告された測定値であり、データセット、モデル、採点方法をそろえた条件での比較です。手元の用途でも同じ差が出るとは限りません。

まずオフラインで試す#

Python 3.11以降が必要です。リポジトリを取得したら、仮想環境を作って依存関係を入れ、デモを起動します。

snippet.txt
python3.11 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt
python -m jev_mem.demo

このデモは合成データと決定的なモック処理を使います。APIキーもモデルのダウンロードも不要で、記憶と検索の流れや判断トレースを確認できますが、回答品質を測るものではありません。Windowsでは仮想環境の有効化に.venv\Scripts\Activate.ps1を使います。

実データで動かすときの注意#

実モデルを使う場合は、リポジトリ直下の.envにTYPESAFE_API_KEYとOPENAI_API_KEYを設定します。Jevが記憶の判断を行い、OpenAI互換モデルが回答生成や評価を担当します。標準の埋め込み方式minilmは初回にモデルをダウンロードします。

ローカルで判断処理を動かしたい場合は、System OneにLayaを使う方法もあります。pip install '.[laya]'で導入でき、Layaの判断にTypeSafe APIキーは不要です。ただし回答生成と評価には引き続き設定済みのモデルプロバイダーを使い、モデルの重みも初回にダウンロードします。論文の報告値はJevによる結果で、Layaの論文ベンチマーク結果は掲載されていません。

実行時には文章が設定したプロバイダーへ送られ、利用料金が発生する場合があります。秘密鍵、会話データ、生成されたキャッシュの扱いを確認してから実データを投入してください。

次の一歩#

まずGitHubのオフラインデモを実行し、判断トレースで記憶の追加と検索の流れを確認してください。その後、自分のデータを試す場合は、送信先と料金を確認してから.envを設定します。

出典: https://github.com/libingzheren/Jev-Mem

目次