目次

Jevを使うと、エージェントの小さな判断を大規模LLMから切り分け、コードや専用モデルに分担させやすくなります。設計の焦点は「どのLLMを使うか」から、「判断をどう分け、安全に自動化するか」へ移ります。

要点#

  • Jevは文章生成より、入力された状態から型付きの判断を返す用途を想定したモデルです。
  • Tool選択やリトライ判定など、短い判断を大規模LLMから分けると、待ち時間やコストを抑えられる可能性があります。
  • Jevの出力だけで操作を許可せず、Policyやコードで権限を確認します。
  • 導入時はShadow Modeで既存の判断と照合し、誤りやconfidenceの傾向を見てから自動化します。

判断をコード・Jev・LLMに分ける#

エージェントの動作には、複雑な推論だけでなく、「どのToolを使うか」「再試行するか」「人間に確認するか」といった短い判断が何度もあります。これらを毎回大規模LLMに任せると、処理時間とコストが積み重なります。

分担の目安はシンプルです。明確に決められることは通常のコード、曖昧さはあるが範囲の小さい判断はJev、複数の情報を踏まえた複雑な推論は大規模LLMに任せます。JevはTypeSafeが「smart if-statements」と表現するような、コードとLLMの間を埋める選択肢です。

Tool選択を前段で絞る#

利用可能なToolが増えると、毎回すべての候補をLLMに渡す構成は扱いにくくなります。Jevで候補を絞り、その後にLLMが最終判断する流れなら、LLMが検討する範囲を小さくできます。

まずはwhich_tool()のような判断を一つだけ切り出し、JevのChoiceで候補を選ぶ形にします。ルーティングの精度や処理時間を計測し、効果が確認できてから対象を広げると、変更の影響を追いやすくなります。

安全性はPolicyと組み合わせる#

ファイルの書き換え、Shellコマンド、外部APIの実行などは、Jevの判断だけで許可しない設計にします。Jevの出力やconfidenceを受け取った後、ハーネス側のPolicyで権限や操作内容を検査し、条件に合わない場合は人間に確認します。

たとえば、検証を始めるための仮の基準として、confidenceが0.95以上なら自動処理、0.70以上0.95未満なら追加チェック、それ未満なら人間に確認する設定が考えられます。この数値はそのまま使える基準ではありません。実際のタスクで正解率との対応を測り、閾値を調整します。

Shadow Modeで判断を照合する#

最初からJevの判断を実行に反映せず、既存のルールや担当者が処理する裏側で、Jevにも同じケースを判定させます。結果を蓄積すれば、誤りの種類やconfidenceと正解率の関係を調べられます。

導入は、対象となる判断を一つ選び、既存の判断とJevの出力を記録するところから始めます。十分な評価データが集まったら、人間の確認が必要なケースを残しつつ、自動処理できる範囲を決めます。Shadow ModeはJev固有の機能ではなく、新しい判断モデルを本番に入れる際の一般的な進め方です。

次の一歩#

エージェント内の判断を洗い出し、which_tool()やshould_retry()から一つ選んでください。既存の結果とJevの出力をShadow Modeで照合し、精度とconfidenceの関係を確認してから、Policyで許可する範囲を決めます。

出典: https://note.com/npaka/n/ne4547ea3c6f5

目次