目次
大量の項目を速く安く仕分けるならJev、背景知識を踏まえて総合評価したり、理由を文章にしたりするなら大モデル評委が向いています。150件のプロジェクトを使った比較では、JevとClaude Fableが選んだ上位10件の重なりは5件でした。
要点#
- Jevは入力100万トークンあたり0.042ドルで、出力料金はかからず、実測の応答時間は約300ミリ秒です。
- 同じ150件から選んだ上位10件の重なりは、JevとFableで5件、他のClaudeモデルとFableで6〜7件でした。
- Jevはテキストに書かれた事実を判定する用途に向き、背景知識や総合的な判断には向きません。
- 大モデルの「信頼度」は文章による自己申告ですが、Jevはしきい値に使えるよう調整された確率を返します。
- まずJevで候補を絞り、残ったものを大モデルで評価する使い方なら、実測では150件を9秒、0.01ドルで初筛できました。
比較で分かった得意分野#
Jevは、文章の中に特定の事実があるか、メッセージが送金を求めているか、といった狭い判定に向いています。返すのは型のある答えと選択肢ごとの確率です。判定に使う数値があるため、たとえば確率が0.4〜0.6なら保留にする、といった運用を組めます。
大モデル評委は、複数の条件を踏まえた比較や、評価理由の作成を得意とします。「この設計はよいか」のように評価基準が曖昧な問いや、文章だけでは分からない背景知識が必要な問いでは、こちらが向いています。ただし、生成された「信頼度」は校正済みの確率とは限りません。
150件を評価した方法#
実験では150個のJev関連プロジェクトを対象に、JevとClaude Fableなどの大モデル評委に上位10件を選ばせました。Jevには各プロジェクトの文章だけを渡し、8つの存在確認の問いと、別の観点からの交差確認を実施。判定の重み付けと順位付けはコードで行いました。
上位候補の比較では、Jevが2件ずつを対決させ、カードの順序を逆にしてもう一度質問しました。これは、Jevが対決時に平均で2枚目を0.14だけ有利に評価する傾向があったためです。比較条件を整えても、Fableとの重なりは5件にとどまりました。
数字の読み方#
150件すべてを評価する一連の処理は、Jevが530回の呼び出しで約0.027ドル、30秒。Claude Fableは約0.95ドル、105秒でした。ほかのClaudeモデルとFableの上位10件の重なりは6〜7件で、Claude各モデル同士にも差がありました。
この差は、Jevの質問文を工夫すれば消えるものではありません。JevはREADMEに書かれた測定値やしきい値を拾いやすく、Fableはプロジェクトが持つエコシステム上の意味を評価しました。後者が文章に記されていなければ、Jevは判断材料を持てません。上位10件の一致度も、この150件での結果であり、あらゆる選定タスクにそのまま当てはまる数値ではありません。
使い分けを決める#
次の順に考えると、どちらに任せるかを決めやすくなります。
- 目の前の文章だけを読んで、字面どおりに答えられるか。答えられるならJev向きです。
- 同じ判定を何千回、何万回も繰り返すか。頻度が高いほど、Jevの低コストと短い応答時間が活きます。
- しきい値を設定したり、判断を保留にしたりしたいか。数値で制御するならJev向きです。
- 背景知識、複数基準の取捨選択、評価理由が必要か。必要なら大モデル評委に任せます。
「このメッセージは送金を求めているか」はJev向きですが、「この案が全体として最もよいか」は大モデル向きです。数を数える、計算する、日付を扱う、複数段階の推論をするといった課題も、Jevには任せにくい領域です。
二段階で使う#
コストを抑えたいなら、Jevで候補を広くふるいにかけ、通過した項目だけを大モデルに評価させます。実験の初筛では、150件を処理して0.01ドル、9秒でした。大モデルに全件を読ませる費用と時間を減らす手がかりになります。
もう一つの方法は、大モデルに評価ルールを一度作らせ、以降の反復判定をJevに任せることです。ルール作成には大モデルの判断力を使い、日々のチェックにはJevの確率と低い呼び出し費用を使えます。導入前には、自分の文章や判定基準で、小さなサンプルを評価して精度を確かめてください。
次の一歩#
実際に自動化したい質問を一つ選び、答えが文章内の情報だけで決まるかを確認してから、Jevで小規模な判定を試してください。
出典: https://jevbooks.com/zh/jev-vs-llm-judge/
目次
